Sparkノードの構成

環境変数を設定する

DataStaxでは、OutOfMemoryError状態が発生しているか、ガーベージ・コレクションに時間がかかりすぎているためにメモリー設定を増やす必要がない限り、Spark環境変数のデフォルト値を使用することを推奨しています。dse.yaml および spark-env.shファイルのSparkメモリ構成オプションを使用します。

DSEを起動する前にお使いの環境でALLOW_SPARK_HOME=trueも設定すると、ユーザー固有のSPARK_HOMEディレクトリーを設定できます。

たとえば、DebianまたはUbuntuでパッケージ・インストールを使用する場合は、以下のようになります。

export SPARK_HOME=$HOME/spark && 
export ALLOW_SPARK_HOME=true && 
sudo service dse start

シャッフル・データ、RDD、およびその他の一時的なSparkデータの一時ディレクトリーは、ローカルに実行されているドライバーと、DSEによって管理されるSparkサーバー・プロセス（Sparkマスター、ワーカー、シャッフル・サービス、エグゼキューター、およびクラスター・モードで実行されているドライバー）の両方に対して構成できます。

ローカルで実行されているSparkドライバーの場合、SPARK_LOCAL_DIRS環境変数は、ユーザー環境またはspark-env.shでカスタマイズできます。デフォルトでは、システムの一時ディレクトリーに設定されます。たとえば、Ubuntuでは/tmp/です。システム一時ディレクトリーがない場合、SPARK_LOCAL_DIRSはユーザーのホーム・ディレクトリーの.sparkディレクトリーに設定されます。

その他のSparkサーバー・プロセスの場合、SPARK_EXECUTOR_DIRS環境変数は、ユーザー環境またはspark-env.shでカスタマイズできます。デフォルトでは、/var/lib/spark/rddに設定されています。

ワーカーのクリーンアップを構成するには、SPARK_WORKER_OPTS環境変数を変更し、クリーンアップ・プロパティを追加します。SPARK_WORKER_OPTS環境変数は、ユーザー環境または spark-env.shで設定できます。たとえば、次の構成ではワーカー・クリーンアップを有効にし、クリーンアップ間隔を30分（1800秒）に設定し、アプリケーション・ワーカー・ディレクトリーが保持される時間の長さを7日（604800秒）に設定します。

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS \ 
  -Dspark.worker.cleanup.enabled=true \ 
  -Dspark.worker.cleanup.interval=1800 \ 
  -Dspark.worker.cleanup.appDataTtl=604800"

Sparkディレクトリーを保護する

Sparkクラスターを起動すると、DataStax EnterpriseによってSparkワーカーごとにSpark作業ディレクトリーがワーカー・ノード上に作成されます。ワーカー・ノードには、spark-env.shのSPARK_WORKER_INSTANCESオプションで構成される、複数のワーカーを含めることができます。SPARK_WORKER_INSTANCESが定義されていない場合は、単一のワーカーを起動します。作業ディレクトリーには、エグゼキューターの標準出力と標準エラーをはじめ、Sparkワーカーとエグゼキューターによって格納されているアプリケーション固有のデータが含まれており、DSEユーザーしか書き込めないようになっています。

デフォルトでは、Sparkの親作業ディレクトリーは/var/lib/spark/workにあります。各ワーカーはworker-numberという名前のサブディレクトリー内にあり、その番号は0から開始します。親ワーカー・ディレクトリーを変更するには、spark-env.shファイルのSPARK_WORKER_DIRを構成します。

Spark RDDディレクトリーは、エグゼキューターがディスクに書き出すことを決めたRDDが配置されるディレクトリーです。このディレクトリーには、データベースからのデータやSparkアプリケーションの実行結果などが格納されます。ディレクトリー内のデータの機密性が高い場合は、無許可ユーザーによるアクセスを防ぐ必要があります。RDDディレクトリーには大量のデータが置かれる可能性があるため、RDDディレクトリーは高速ディスク上に配置します。このディレクトリーに書き込むことができるのはcassandraユーザーだけです。Spark RDDディレクトリーのデフォルトの場所は/var/lib/spark/rddです。このディレクトリーは高速ディスク上に配置する必要があります。RDDディレクトリーを変更するには、spark-env.shファイルのSPARK_EXECUTOR_DIRSを構成します。

デフォルトのSparkディレクトリーへのアクセス権を付与する

sudo mkdir -p /var/lib/spark/rdd; sudo chmod a+w /var/lib/spark/rdd; sudo chown -R  $USER:$GROUP /var/lib/spark/rdd && 
sudo mkdir -p /var/log/spark; sudo chown -R  $USER:$GROUP /var/log/spark

複数データ・センター・クラスターでは、仮想データ・センターを使用してSparkジョブを分離します。実行中のSparkジョブは、リソースを消費し、レイテンシーとスループットに影響する可能性があります。

DataStax Enterpriseでは、仮想ノード（vnode）とSparkの併用がサポートされます。

Sparkノードのセキュリティを確保する

クライアントとノード間のSSL

クライアント認証が有効になっていない場合でも、「クライアントとノード間の暗号化」で説明されているように、cassandra.yaml にトラストストア・エントリーが存在することを確認します。

セキュリティおよび認証の有効化

セキュリティは、dse.yamlのspark_security_enabledオプションを使用して有効にします。この設定をenabledにすると、Sparkマスター・ノードとWorkerノード間の認証がオンになり、暗号化を有効にすることができます。Web UI以外のすべてのコンポーネントのSpark接続を暗号化するには、spark_security_encryption_enabledを有効にします。Sparkコンポーネントのセキュリティ確保に使用される共有シークレットの長さは、spark_shared_secret_bit_lengthオプションを使用して設定され、デフォルト値は256ビットです。これらのオプションについては、「DSE分析オプション」で説明しています。プロダクション環境クラスターの場合は、これらの認証と暗号化を有効にします。有効にしても、パフォーマンスには大きな影響を与えません。

認証とSparkアプリケーション

認証を有効にすると、ユーザーは、アプリケーションを送信するために認証される必要があります。

権限管理とSparkアプリケーション

DSEの権限管理を有効にすると、ユーザーにはアプリケーションを送信するためのパーミッションが必要になります。また、アプリケーションを送信するユーザーはアプリケーションを管理するためのパーミッションを自動的に受け取り、このパーミッションを任意で他のユーザーに拡張できます。

Spark SQL Thriftサーバーのデータベース認証情報

hive-site.xml ファイルでSpark SQL Thriftサーバーの認証資格情報を構成します。以下のように、Sparkディレクトリーでhive-site.xmlファイルを使用します。

• パッケージ・インストール：/etc/dse/spark/hive-site.xml
• tarボール・インストール：installation_location/resources/spark/conf/hive-site.xml

SparkでKerberosを使用する方法

Sparkランチャーは、Kerberos認証を使用して、Kerberos認証情報でDSEに接続し、デリゲーション・トークンを生成するようにDSEに要求します。Sparkドライバーとエグゼキューターは、デリゲーション・トークンを使用してクラスターに接続します。有効な認証を行うために、デリゲーション・トークンを定期的に更新する必要があります。セキュリティ上の理由から、このトークンを使用して認証されるユーザーは、このトークンを更新することはできません。したがって、デリゲーション・トークンには、トークンの所有者とトークンの更新者の2名の関連ユーザーが存在することになります。

トークンの更新者がいない場合、トークンを更新できるのはDSE内部プロセスを通じた場合のみとなります。アプリケーションが送信されると、DSEは、Sparkアプリケーションに関連付けられているデリゲーション・トークンを自動的に更新します。アプリケーションが登録されていない（終了した）場合、デリゲーション・トークンの更新が停止し、トークンがキャンセルされます。

Kerberosオプションの設定については、「Kerberosスキームの定義」を参照してください。

Sparkメモリーおよびコアを構成する

Sparkメモリー・オプションは、Sparkエコシステムのさまざまなコンポーネントに影響します。

Spark HistoryサーバーとSpark Thriftサーバーのメモリー

SPARK_DAEMON_MEMORYオプションは、Spark SQL Thriftサーバーと履歴サーバーによって使用されるメモリーを構成します。この設定は、これらのサーバー・アプリケーションで実行される、ノード上の spark-env.sh ファイルで追加または変更します。

Sparkワーカーのメモリー

dse.yamlのresource_manager_options.worker_optionsセクションのmemory_total オプションは、特定のノード上のワーク・プールによって実行されるすべてのエグゼキューターに割り当てることができるシステム・メモリーの合計を構成します。他のワーク・プールが定義されていない場合、defaultに指定されたワーク・プールがこのメモリーのすべてを使用します。追加のワーク・プールを定義する場合は、ワーク・プール定義でmemoryオプションを設定して、メモリーの合計量を設定できます。

アプリケーション・エグゼキューターのメモリー

アプリケーション用に消費できるメモリー容量をエグゼキューターごとに構成できます。Sparkでは、デフォルト値の512MBが使用されます。spark.executor.memoryオプション（「Sparkの使用可能なプロパティ」を参照）または--executor-memory mem引数をdse sparkコマンドに対して使用します。

アプリケーション・メモリー

アプリケーションのエグゼキューターを生成するときにワーカーによって適用される追加のJavaオプションを構成できます。spark.executor.extraJavaOptionsプロパティ（「Spark 1.6.2の使用可能なプロパティ」を参照）を使用します。例を次に示します。spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

コアの管理

この計算は、小数点以下の値に使用されます。設定が指定されていない場合は、デフォルト値の0.7が使用されます。値に小数点以下の桁数が含まれていない場合、設定は、DSEによってSpark用に予約されたコア数またはメモリー容量の明示的な数値になります。

名前が付いたワーク・プールのメモリー容量とコア数に割り当てることができる最小値は、それぞれ64 MBと1コアです。計算結果がこれよりも低い場合、例外はスローされず、自動的に値が制限されます。

次の例は、1つのコアと512MBのRAMが割り当てられているworkpool1という名前のワーク・プールを示しています。worker_optionsの値から計算された残りのリソースは、defaultのワーク・プールに割り当てられます。

resource_manager_options:
    worker_options:
        cores_total: 0.7
        memory_total: 0.7

        workpools:
              - name: workpool1
              cores: 1
              memory: 512M

クラウド環境でのSparkクラスターの実行

Amazon EC2のようなクラウド・インフラストラクチャー・プロバイダーを使用している場合は、お使いのクラスターで公的にルーティング可能なIPアドレスに対してポートを明示的に開く必要があります。ポートを開かないと、SparkワーカーはSparkマスターを見つけることができません。

回避策の1つは、cassandra-rackdc.properties スニッチ・セットアップ・ファイルのprefer_local設定をtrueに設定することです。

# Uncomment the following line to make this snitch prefer the internal ip when possible, as the Ec2MultiRegionSnitch does.
prefer_local=true

これにより、ルーティング可能なパブリックIPアドレスではなく、データ・センター内のプライベートIPアドレスでのみ通信するようにクラスターに通知されます。

Spark構成を取得するリトライ数の構成

SparkがDSEから構成設定をフェッチすると、構成データを取得できない場合はすぐに失敗しますが、デフォルトでは5回リトライが行われるため、リトライ間の遅延が大きくなります。リトライ数をSpark構成で設定するには、dse sparkコマンドを呼び出す際またはspark-defaults.confでspark.dse.configuration.fetch.retries構成プロパティを変更します。

連続ページングの無効化

連続ページングでは、DSEからDSE Sparkによって使用されるDataStax Java Driverへとレコードを一括でストリーミングします。デフォルトでは、クエリー内での連続ページングが有効になっています。これを無効にするには、Spark SQLシェルを起動する際または spark-defaults.confでspark.dse.continuous_paging_enabled設定をfalseに設定します。例を次に示します。

dse spark-sql --conf spark.dse.continuous_paging_enabled=false

Spark Webインターフェイス・ポートの構成

デフォルトでは、Spark Web UIはポート7080で実行されます。ポート番号を変更するには、次の操作を行います。

1. テキスト・エディターで spark-env.sh ファイルを開きます。
2. SPARK_MASTER_WEBUI_PORT変数を新しいポート番号に設定します。たとえば、ポート7082に設定するには、次のようにします。

   export SPARK_MASTER_WEBUI_PORT=7082

3. クラスター内のAnalyticsノードごとに以上の手順を繰り返します。
4. クラスター内のノードを再起動します。

DSE SparkでのGraphiteメトリクスの有効化

サードパーティJARは、各ノードのSpark libディレクトリーに追加して、クラスターを再起動することで、Sparkノードに追加できます。このディレクトリーにGraphiteメトリクスJARを追加して、DSE Sparkでメトリクスを有効にします。

cp metrics-graphite-3.1.2.jar /usr/share/dse/spark/lib/ && 
cp metrics-json-3.1.2.jar /usr/share/dse/spark/lib/

ドライバーとエグゼキューターのSparkプロパティの設定

Sparkドライバーとエグゼキューターの追加のSparkプロパティは、 spark-defaults.confで設定します。たとえば、Sparkのcommons-crypto暗号化ライブラリを有効にするには、次のようにします。

spark.network.crypto.enabled true