Spark Cassandra Connector特有のプロパティの設定

Spark Cassandra Connectorオプションを使用して、DataStax Enterprise Sparkを構成します。

Sparkの統合には、Spark Cassandra Connectorが内部で使用されます。DataStax Enterprise Sparkの構成には、プロジェクトで定義されている構成オプションを使用できます。Sparkでは、spark.プレフィックスを持つシステム・プロパティが認識され、構成オブジェクトの作成時にこれらのプロパティがそのオブジェクトに暗黙的に追加されます。SparkConfコンストラクターのloadDefaultsパラメーターにfalseを渡すことによって、構成オブジェクトにシステム・プロパティが追加されるのを防ぐことができます。

パラメーターの完全なリストは、Spark Cassandra Connectorのドキュメントに記載されています。

Spark、Sparkシェル、その他のDataStax Enterprise Spark組み込みアプリケーションに設定を渡すには、Spark のドキュメントで説明されている、中間アプリケーションのspark-submitを使用します。

Sparkシェルの構成

以下の構文を使用して、Spark構成引数を渡します。

$ dse spark [submission_arguments] [application_arguments]

submission_argumentsが以下の場合：

--properties-file path_to_properties_file

構成設定が含まれているプロパティ・ファイルの場所。デフォルトで、Sparkはspark-defaults.confから設定を読み込みます。

spark-defaults.confファイルのデフォルトの場所は、インストールのタイプによって異なります。

パッケージ・インストールInstaller-Servicesインストール	/etc/dse/spark/spark-defaults.conf
tarボール・インストールInstaller-No Servicesインストール	`installation_location`/resources/spark/conf/spark-defaults.conf

--executor-memory memory
各マシンでアプリケーションに割り当てるメモリーの容量。k、m、gのいずれかのサフィックスを使用して、メモリー引数をJVM形式で指定できます。
--total-executor-cores cores
アプリケーションが使用するコアの総数。
--conf name=value
Spark構成に対する任意のSparkオプション。プレフィックスsparkが付きます。
--help
DataStax Enterprise Sparkシェル・オプション以外のすべてのオプションを含むヘルプ・メッセージを表示します。
--jars <additional-jars>
追加JARファイルへのパスのコンマ区切りリスト。
--verbose
どの引数がSpark構成オプションとして認識され、どの引数がSparkシェルに転送されるかを表示します。

Sparkシェル・アプリケーション引数：

-i file
指定されたファイルからスクリプトを実行します。

Sparkアプリケーションの構成

Sparkサブミット引数を渡すには、以下の構文を使用します。

$ dse spark-submit [submission_arguments] application_file [application_arguments]

すべてのsubmission_argumentsと以下の追加のspark-submit submission_arguments：

--class class_name
アプリケーション・メイン・クラスの完全な名前。
--name name
Spark Webアプリケーションに表示されるアプリケーション名。
--py-files files
Pythonアプリケーション向けにPYTHONPATHで設定される、.zip、.egg、.pyの各ファイルのコンマ区切りリスト。
--files files
エグゼキューター間で配布され、アプリケーションで使用できるコンマ区切りリストのファイル。

通常、Sparkサブミット引数は、システム・プロパティである-Dname=valueやclasspathなどのVMパラメーターに変換されます。アプリケーション引数はアプリケーションに直接渡されます。

プロパティ・リスト

Analyticsクラスターのノードでdse spark-submitを実行すると、以下のすべてのプロパティが自動で設定され、Sparkマスターは自動的に検出されます。自動的に管理されるプロパティをオーバーライドする必要がある場合にのみ、以下のプロパティを設定します。

spark.cassandra.connection.native.port: デフォルトは9042です。ネイティブ・クライアント・プロトコル接続に使用するポート。
spark.cassandra.connection.rpc.port: デフォルトは9160です。thrift接続に使用するポート。
spark.cassandra.connection.host: Thrift RPCサービスとネイティブ・トランスポートが関連付けられているホスト名またはIPアドレス。このプロパティのデフォルト値は、cassandra.yamlのrpc_addressプロパティ（デフォルトではlocalhost）によって決められます。

--master master addressパラメーターをdse spark-submitに使用して、Sparkマスター・アドレスを明示的に設定できます。

$ dse spark-submit --master master address application JAR file

以下のプロパティは、パフォーマンスまたは可用性についてオーバーライドできます。

読み取りプロパティ

spark.cassandra.input.split.size: デフォルトは100000です。単一のSparkパーティションに含まれる行の数の概数。この値が大きいほど、作成されるSparkタスクの数は少なくなります。値を大きくしすぎると、並列処理が制限される可能性があります。
spark.cassandra.input.fetch.size_in_rows: デフォルトは1000です。データベースへの往復ごとにフェッチされる行の数。この値を増やすと、メモリーの消費量も増加します。値を減らすと、往復回数が増加します。以前のリリースでは、このプロパティはspark.cassandra.input.page.row.sizeでした。
spark.cassandra.input.consistency.level: デフォルトはLOCAL_ONEです。読み取り時に使用する整合性レベル。

書き込みプロパティ

以下のプロパティをSparkConfで設定して、保存プロセスを微調整できます。

spark.cassandra.output.batch.size.bytes: デフォルトはautoです。1バッチあたりのバイト数。デフォルトのautoは、コネクターがデータ量に基づいてバイト数を調整することを意味します。
spark.cassandra.output.consistency.level: デフォルトはLOCAL_ONEです。書き込み時に使用する整合性レベル。
spark.cassandra.output.concurrent.writes: デフォルトは5です。1つのSparkタスクによって並列実行されるバッチの最大数; 。
spark.cassandra.output.batch.size.rows: デフォルトは64Kです。バッチの最大合計サイズ（単位はバイト）。

上記以外の下位プロパティの詳細については、Spark Cassandra Connectorのドキュメントを参照してください。

cassandra.yamlファイルの場所は、インストールのタイプによって異なります。

パッケージ・インストールInstaller-Servicesインストール	/etc/dse/cassandra/cassandra.yaml
tarボール・インストールInstaller-No Servicesインストール	`installation_location`/resources/cassandra/conf/cassandra.yaml