dse spark-jobserver
Spark Jobserverを起動および停止します。
spark-defaults.conf
spark-defaults.confファイルのデフォルトの場所は、インストールのタイプによって異なります。| パッケージ・インストール | /etc/dse/spark/spark-defaults.conf |
| tarボール・インストール | installation_location/resources/spark/conf/spark-defaults.conf |
DSEにバンドルされているSpark Jobserverを起動および停止します。
制約事項: コマンドは、分析ワークロードを実行するノードでのみサポートされています。
「Spark Jobserver」を参照してください。
構文
dse spark-jobserver start
[--properties-file path_to_properties_file]
[--executor-memory memory] [--total-executor-cores cores]
[--conf name=spark.value] [--jars path_to_additional_jars]
[--help] [--verbose] | stop
| 構文規則 | 説明 |
|---|---|
| 大文字 | リテラル・キーワード。 |
| 小文字 | リテラル以外。 |
Italics |
変数値。有効なオプションまたはユーザー定義値と置き換えます。 |
[ ] |
任意。角かっこ（ [] ）で任意のコマンド引数を囲みます。角かっこは入力しないでください。 |
( ) |
グループ。丸かっこ（( )）は、選択肢を含むグループを示します。丸かっこは入力しないでください。 |
| |
または。縦棒（|）で代替要素を区切ります。要素のいずれかを入力してください。縦棒は入力しないでください。 |
... |
繰り返し可能。省略記号（...）は、構文要素を必要な回数だけ繰り返すことができることを示します。 |
'Literal string' |
単一引用符（ ' ）でCQL文内のリテラル文字を囲みます。大文字を維持するには、単一引用符を使用します。 |
{ key:value } |
マップ・コレクション。中かっこ（ { } ）でマップ・コレクションまたはキーと値のペアを囲みます。コロンでキーと値を区切ります。 |
<datatype1,datatype2> |
セット、リスト、マップ、またはタプル。山かっこ（< >）で、セット、リスト、マップまたはタプル内のデータ型を囲みます。データ型をカンマで区切ります。 |
cql_statement; |
CQL文の終了。セミコロン（ ; ）ですべてのCQL文を終了します。 |
[ -- ] |
コマンドライン・オプションとコマンド引数は、2つのハイフン（--）で区切ります。この構文は、引数がコマンドライン・オプションと間違われる可能性がある場合に役立ちます。 |
' <schema> ...</schema> ' |
検索CQLのみ：単一引用符（ ' ）でXMLスキーマ宣言全体を囲みます。 |
@xml_entity='xml_entity_type' |
検索CQLのみ：スキーマ・ファイルおよびsolrconfigファイル内のXML要素を上書きする実体とリテラル値を示します。 |
- start
- Spark Jobserverを起動します。
- help
- オプションおよび使用方法の指示を表示します。特定のコマンドの詳細については、
nodesync help subcommandを使用します。 - --verbose
- どの引数がSpark構成オプションとして認識され、どの引数がSparkシェルに転送されるかを表示します。
- stop
- Spark Jobserverを停止します。
- --properties-file path_to_properties_file
- 構成設定が含まれるプロパティ・ファイルの場所。デフォルトで、Sparkはspark-defaults.confから設定を読み込みます。
- --executor-memory mem
- アプリケーション用にエグゼキューターが消費できるメモリー容量。Sparkでは、デフォルト値の512MBが使用されます。k、m、gのいずれかのサフィックスを使用して、メモリー引数をJVM形式で指定します。
- --total-executor-cores cores
- アプリケーションが使用するコアの総数。
- --conf name=spark.value|sparkproperties.conf
- Spark構成に対する任意のSparkオプション。プレフィックスsparkが付きます。
- name-spark.value
- sparkproperties.conf - 構成
- --jars path_to_additional_jars
- 追加JARファイルへのパスのコンマ区切りリスト。
例
submitオプションなしでSpark Jobserverを起動する
dse spark-jobserver start
submitオプションを適用してSpark Jobserverを起動する
dse spark-jobserver start --properties-file spark.conf
「spark-submitオプション」を参照してください。
Spark Jobserverを停止する
dse spark-jobserver stop