dse client-tool spark

外部クライアントをDataStax Enterpriseノードに接続し、統合Sparkに関連する操作を実行します。

統合されたSparkに関連する操作を実行します。

構文

dse client-tool connection_options spark 
(master-address | leader-address | version | 
sql-schema (--exclude | --keyspace | --table | --decimal | --all)
metastore-migrate --from_version --to_version)

表 1. 凡例
構文規則	説明
大文字	リテラル・キーワード。
小文字	リテラル以外。
`Italics`	変数値。有効なオプションまたはユーザー定義値と置き換えます。
`[ ]`	任意。角かっこ（ `[]` ）で任意のコマンド引数を囲みます。角かっこは入力しないでください。
`( )`	グループ。丸かっこ（`( )`）は、選択肢を含むグループを示します。丸かっこは入力しないでください。
`\|`	または。縦棒（`\|`）で代替要素を区切ります。要素のいずれかを入力してください。縦棒は入力しないでください。
`...`	繰り返し可能。省略記号（`...`）は、構文要素を必要な回数だけ繰り返すことができることを示します。
`'Literal string'`	単一引用符（ `'` ）でCQL文内のリテラル文字を囲みます。大文字を維持するには、単一引用符を使用します。
`{ key:value }`	マップ・コレクション。中かっこ（ `{ }` ）でマップ・コレクションまたはキーと値のペアを囲みます。コロンでキーと値を区切ります。
`<datatype1,datatype2>`	セット、リスト、マップ、またはタプル。山かっこ（`< >`）で、セット、リスト、マップまたはタプル内のデータ型を囲みます。データ型をカンマで区切ります。
`cql_statement;`	CQL文の終了。セミコロン（ `;` ）ですべてのCQL文を終了します。
`[ -- ]`	コマンドライン・オプションとコマンド引数は、2つのハイフン（`--`）で区切ります。この構文は、引数がコマンドライン・オプションと間違われる可能性がある場合に役立ちます。
`' <schema> ...</schema> '`	検索CQLのみ：単一引用符（ `'` ）でXMLスキーマ宣言全体を囲みます。
`@xml_entity='xml_entity_type'`	検索CQLのみ：スキーマ・ファイルおよびsolrconfigファイル内のXML要素を上書きする実体とリテラル値を示します。

leader-address

データ・センターに対して現在選択されているSparkマスターのIPアドレスを返します。

master-address

Sparkアプリケーションの構成に使用するローカル・ホストのIPアドレスを返します。アドレスはURIで返されます。

dse://ip:port?connection.local_dc=dc_name;connection.host=cs_list_contactpoints;

connection.host=cs_list_contactpointsオプションは、追加のコンタクト・ポイントのIPアドレスのコンマ区切りリストです。追加のコンタクト・ポイントは、データ・センターからランダムに選択された最大5つのノードです。

注: DSEでは、SparkアプリケーションはSparkマスターに自動的に接続されます。接続URIで現在のSparkマスターのIPアドレスを使用する必要はありません。

metastore-migrate --from_version --to_version

Spark SQLメタストアを1つのDSEバージョンから別のDSEバージョンへ移行します。

--from_version - メタストアへの移行元
--to_version - メタストアへの移行先

version

DataStax EnterpriseがバンドルされているSparkのバージョンを返します。

sql-schema (--exclude | --keyspace | --table | --decimal | --all)

以下のオプションを指定して、SQLテーブル作成クエリーをエクスポートします。

--table tablename - 含めるテーブルのコンマ区切りリスト
--exclude csvlist - 除外するーブルのコンマ区切りリスト
--all - すべてのキースペースを含む
--keyspace csvlist - 含めるキースペースのコンマ区切りリスト

例

次のデータ・センターのSpark接続URLを表示する

dse client-tool spark master-address
dse://10.200.181.62:9042?connection.local_dc=Analytics;connection.host=10.200.181.63;

次のデータ・センターのSparkマスターの現在のアドレスを表示する

dse client-tool spark leader-address 10.200.181.62

Spark SQLスキーマ・ファイルを生成する

外部Sparkクラスターに対してSpark SQLで生成されたスキーマを使用できます。

dse client-tool --use-server-config spark sql-schema --all > output.sql

Sparkメタストアを移行する

アップグレード後、Spark SQLによって使用されるHiveメタストアのDSE 6.7.0リリース形式にカスタム外部テーブルをマップするには：

dse client-tool spark metastore-migrate --from 5.0.11 --to 6.7.0