Spark Jobserverの使用

DSEには、Sparkジョブを送信および管理するためのRESTインターフェイスであるSpark Jobserverが含まれています。

DataStax Enterpriseには、オープン・ソースのSpark Jobserverのバンドルされたコピー、Sparkジョブを送信および管理するためのオプションのコンポーネント、Sparkコンテキスト、およびDSE AnalyticsクラスターのJARが含まれています。このバージョンのDSEに含まれているSpark Jobserverのバージョンについては、リリース・ノートの「コンポーネント」を参照してください。

有効なspark-submitオプションがサポートされており、Spark Jobserverに適用できます。Jobserverを使用するには：
$ dse spark-jobserver start [any_spark_submit_options] //Start the job server $ dse spark-jobserver stop //Stop the job server
Spark Jobserverのデフォルトの場所は、インストールのタイプによって異なります。
  • パッケージ・インストールおよびInstaller-Services：/usr/share/dse/spark/spark-jobserver
  • tarボール・インストールおよびInstaller-No Services：installation_location/resources/spark/spark-jobserver
注: Installer-Servicesおよびパッケージのインストールの場合は、Jobserverを実行するOSユーザーにSparkログ・ディレクトリー（/var/log/spark）への書き込みパーミッションがあることを確認します。確認するには、sudoを使用してJobserverを起動するか、/var/log/sparkでアクセス制御を変更します。Jobserverログ・ファイルは、/var/log/spark/job-server/spark-job-server.logにあります。

Spark Jobserverの有効なユース・ケースには、キャッシュされたデータの共有、キャッシュされたデータの繰り返しクエリー、およびジョブの起動時間の短縮などがあります。

Spark Jobserverからのアプリケーションの作成および送信方法の例については、DSEに付属しているspark-jobserverデモを参照してください。

demosディレクトリーの場所は、インストールのタイプによって異なります。
  • パッケージ・インストールおよびInstaller-Services：/usr/share/dse/demos
  • tarボール・インストールおよびInstaller-No Services：installation_location/demos