Spark Cassandra Connector固有のプロパティの設定

Spark Cassandra Connectorオプションを使用して、DataStax Enterprise Sparkを構成します。

spark-defaults.conf

spark-defaults.confファイルのデフォルトの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/spark/spark-defaults.conf
tarボール・インストール installation_location/resources/spark/conf/spark-defaults.conf

cassandra.yaml

cassandra.yamlファイルの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/cassandra/cassandra.yaml
tarボール・インストール installation_location/resources/cassandra/conf/cassandra.yaml

Sparkの統合には、Spark Cassandra Connectorが内部で使用されます。DataStax Enterprise Sparkの構成には、プロジェクトで定義されている構成オプションを使用できます。Sparkでは、spark.プレフィックスを持つシステム・プロパティが認識され、構成オブジェクトの作成時にこれらのプロパティがそのオブジェクトに暗黙的に追加されます。SparkConfコンストラクターのloadDefaultsパラメーターにfalseを渡すことによって、構成オブジェクトにシステム・プロパティが追加されるのを防ぐことができます。

パラメーターの完全なリストは、Spark Cassandra Connectorのドキュメントに記載されています

Spark、Sparkシェル、その他のDataStax Enterprise Spark組み込みアプリケーションに設定を渡すには、Spark のドキュメントで説明されている、中間アプリケーションのspark-submitを使用します。

Sparkシェルの構成

以下の構文を使用して、Spark構成引数を渡します。
dse spark [submission_arguments] [application_arguments]
submission_argumentsが以下の場合:
[--help] [--verbose]
[--conf name=spark.value|sparkproperties.conf] 
[--executor-memory memory]
[--jars additional-jars]
[--master dse://?appReconnectionTimeoutSeconds=secs]
[--properties-file path_to_properties_file]
[--total-executor-cores cores]
--conf name=spark.value|sparkproperties.conf
Spark構成に対する任意のSparkオプション。プレフィックスsparkが付きます。
  • name-spark.value
  • sparkproperties.conf - 構成
--executor-memory mem
アプリケーション用にエグゼキューターが消費できるメモリー容量。Sparkでは、デフォルト値の512MBが使用されます。k、m、gのいずれかのサフィックスを使用して、メモリー引数をJVM形式で指定します。
--help
DataStax Enterprise Sparkシェル・オプション以外のすべてのオプションを含むヘルプ・メッセージを表示します。
--jars path_to_additional_jars
追加JARファイルへのパスのコンマ区切りリスト。
--properties-file path_to_properties_file
構成設定が含まれるプロパティ・ファイルの場所。デフォルトで、Sparkはspark-defaults.confから設定を読み込みます。
--total-executor-cores cores
アプリケーションが使用するコアの総数。
--verbose
どの引数がSpark構成オプションとして認識され、どの引数がSparkシェルに転送されるかを表示します。
Sparkシェル・アプリケーション引数:
-i app_script_file
指定されたファイルからスクリプトを実行する、Sparkシェル・アプリケーション引数。

Sparkアプリケーションの構成

Sparkサブミット引数を渡すには、以下の構文を使用します。
dse spark-submit [submission_arguments] application_file [application_arguments]
すべてのsubmission_argumentsと以下の追加のspark-submit submission_arguments
--class class_name
アプリケーション・メイン・クラスの完全な名前。
--name appname
Spark Webアプリケーションに表示されるアプリケーション名。
--py-files files
Pythonアプリケーション向けにPYTHONPATHで設定される、.zip、.egg、.pyの各ファイルのコンマ区切りリスト。
--files files
エグゼキューター間で配布され、アプリケーションで使用できるコンマ区切りリストのファイル。

通常、Sparkサブミット引数は、システム・プロパティである-Dname=valueやclasspathなどのVMパラメーターに変換されます。アプリケーション引数はアプリケーションに直接渡されます。

プロパティ・リスト

Analyticsクラスターのノードでdse spark-submitを実行すると、以下のすべてのプロパティが自動で設定され、Sparkマスターは自動的に検出されます。自動的に管理されるプロパティをオーバーライドする必要がある場合にのみ、以下のプロパティを設定します。

spark.cassandra.connection.native.port
デフォルトは9042です。ネイティブ・クライアント・プロトコル接続に使用するポート。
spark.cassandra.connection.rpc.port
デフォルトは9160です。thrift接続に使用するポート。
spark.cassandra.connection.host
Thrift RPCサービスとネイティブ・トランスポートが関連付けられているホスト名またはIPアドレス。このプロパティのデフォルト値は、cassandra.yaml内のnative_transport_addressプロパティ(デフォルトでlocalhost)によって決められます。

--master master addressパラメーターをdse spark-submitに使用して、Sparkマスター・アドレスを明示的に設定できます。

dse spark-submit --master master address application JAR file
たとえば、Sparkノードが10.0.0.2の場合は、次のようにします。
dse spark-submit --master dse://10.0.0.2? myApplication.jar

以下のプロパティは、パフォーマンスまたは可用性についてオーバーライドできます。

読み取りプロパティ

spark.cassandra.input.split.size
デフォルトは100000です。単一のSparkパーティションに含まれる行の数の概数。この値が大きいほど、作成されるSparkタスクの数は少なくなります。値を大きくしすぎると、並列処理が制限される可能性があります。
spark.cassandra.input.fetch.size_in_rows
デフォルトは1000です。データベースへの往復ごとにフェッチされる行の数。この値を増やすと、メモリーの消費量も増加します。値を減らすと、往復回数が増加します。以前のリリースでは、このプロパティはspark.cassandra.input.page.row.sizeでした。
spark.cassandra.input.consistency.level
デフォルトはLOCAL_QUORUMです。読み取り時に使用する整合性レベル。
spark.cassandra.input.throughputMBPerSec
デフォルトはunlimitedです。タスクあたりの読み取りスロットルを設定するための1秒あたりのしきい値(MB単位)。このしきい値は、複数のジョブが並行して実行されている場合にリソースを管理するのに役立ちます。

書き込みプロパティ

以下のプロパティをSparkConfで設定して、保存プロセスを微調整できます。

spark.cassandra.output.batch.size.bytes

デフォルトはautoです。1バッチあたりのバイト数。デフォルトのautoは、コネクターがデータ量に基づいてバイト数を調整することを意味します。

spark.cassandra.output.consistency.level
デフォルトはLOCAL_ONEです。書き込み時に使用する整合性レベル。
spark.cassandra.output.concurrent.writes
デフォルトは100です。1つのSparkタスクによって並列実行されるバッチの最大数。
spark.cassandra.output.batch.size.rows

デフォルトは64Kです。バッチの最大合計サイズ(単位はバイト)。

上記以外の下位プロパティの詳細については、Spark Cassandra Connectorのドキュメントを参照してください。