dse spark-submit
クラスター上でアプリケーションを起動することにより、統一されたインターフェイスを介してSparkクラスター・マネージャーが使用可能になります。
クラスター上でアプリケーションを起動することにより、統一されたインターフェイスを介してSparkクラスター・マネージャーが使用可能になります。このコマンドは、Apache Spark spark-submitと同じオプションをサポートします。
制約事項: コマンドは、分析ワークロードを実行するノードでのみサポートされています。
構文
dse spark-submit --class class_name jar_file other_options| --status|--kill driver_id [--master master_ip_address]
| 構文規則 | 説明 |
|---|---|
| 大文字 | リテラル・キーワード。 |
| 小文字 | リテラル以外。 |
Italics |
変数値。有効なオプションまたはユーザー定義値と置き換えます。 |
[ ] |
任意。角かっこ（ [] ）で任意のコマンド引数を囲みます。角かっこは入力しないでください。 |
( ) |
グループ。丸かっこ（( )）は、選択肢を含むグループを示します。丸かっこは入力しないでください。 |
| |
または。縦棒（|）で代替要素を区切ります。要素のいずれかを入力してください。縦棒は入力しないでください。 |
... |
繰り返し可能。省略記号（...）は、構文要素を必要な回数だけ繰り返すことができることを示します。 |
'Literal string' |
単一引用符（ ' ）でCQL文内のリテラル文字を囲みます。大文字を維持するには、単一引用符を使用します。 |
{ key:value } |
マップ・コレクション。中かっこ（ { } ）でマップ・コレクションまたはキーと値のペアを囲みます。コロンでキーと値を区切ります。 |
<datatype1,datatype2> |
セット、リスト、マップ、またはタプル。山かっこ（< >）で、セット、リスト、マップまたはタプル内のデータ型を囲みます。データ型をカンマで区切ります。 |
cql_statement; |
CQL文の終了。セミコロン（ ; ）ですべてのCQL文を終了します。 |
[ -- ] |
コマンドライン・オプションとコマンド引数は、2つのハイフン（--）で区切ります。この構文は、引数がコマンドライン・オプションと間違われる可能性がある場合に役立ちます。 |
' <schema> ...</schema> ' |
検索CQLのみ：単一引用符（ ' ）でXMLスキーマ宣言全体を囲みます。 |
@xml_entity='xml_entity_type' |
検索CQLのみ：スキーマ・ファイルおよびsolrconfigファイル内のXML要素を上書きする実体とリテラル値を示します。 |
このコマンドは、Apache Spark spark-submitと同じオプションをサポートします。Sparkステータスとkillオプションの標準の動作と異なり、DSEデプロイでは、これらのオプションはSparkマスターIPアドレスを必要としません。
- kill driver_id
- DSEクラスターで実行されているSparkアプリケーションを強制終了します。
- master master_ip_address
- DSEクラスター内で実行されているSparkマスターのIPアドレス。
- status driver_id
- DSEクラスターで実行されているSparkアプリケーションのステータスを取得します。
例
次の目的でHTTP応答サンプル・プログラム（dse-demosディレクトリ内）を2つのノード上で実行する
dse spark-submit --class com.datastax.HttpSparkStream target/HttpSparkStream.jar -d 2
障害発生時に再起動するsuperviseオプションを使用して、クラスター・モードでアプリケーションを送信する
dse spark-submit --deploy-mode cluster --supervise --class com.datastax.HttpSparkStream target/HttpSparkStream.jar -d $NUM_SPARK_NODES
TLSが有効な場合にクラスター・モードを使用してアプリケーションを送信するには使用してアプリケーションを送信する
ポート4440でセキュアなHTTPSを使用するために標準のSparkコマンドを使用してSSL構成を渡します。
dse spark-submit --conf spark.ssl.ui.enabled=true --conf spark.ssl.ui.keyPassword=ctool_keystore --conf spark.ssl.ui.keyStore=/home/automaton/ctool_security/ctool_keystore --conf spark.ssl.ui.keyStore=/home/automaton/ctool_security/ctool_keystore
ドライバー・ホストを公的にアクセス可能なIPアドレスに設定する
dse spark-submit --conf spark.driver.host=203.0.113.0 myApplication.jar
ドライバーのステータスを取得する
Apache Sparkオプションとは異なり、SparkマスターIPアドレスを指定する必要はありません。
dse spark-submit --status driver-20180726160353-0019
ドライバーが存在する場合の結果：
Driver driver-20180726160353-0019 found: state=<state>, worker=<workerId> (<workerHostPort>)ドライバーを強制終了する
Apache Sparkオプションとは異なり、SparkマスターIPアドレスを指定する必要はありません。
dse spark-submit --kill driver-20180726160353-0019