外部SparkクラスターでSparkシェルを使用してDataStax Enterpriseに接続する

外部SparkクラスターでSparkシェルを使用して、DataStax Enterpriseに接続します。

DataStax Enterpriseノードから生成済みのbyos.properties構成ファイルとbyos-version.jarを使用して、外部SparkクラスターのSparkシェルからDataStax Enterpriseクラスターに接続します。

clientsディレクトリー

clientsディレクトリーのデフォルトの場所は、インストールのタイプによって異なります。

パッケージ・インストール	/usr/share/dse/clients
tarボール・インストール	`installation_location`/clients

始める前に

DataStax Enterpriseクラスターのノード上でbyos.propertiesを生成する必要があります。

DataStax Enterpriseノードから以前に生成したbyos.propertiesファイルをローカルのSparkノードにコピーします。
```
scp user@dsenode1.example.com:~/byos.properties .
```
Kerberos認証を使用している場合は、「dse client-tool configuration byos-export」の説明に従って、byos.propertiesを生成するときに--generate-tokenオプションと--token-renewer <ユーザー名>オプションを指定します。
DataStax Enterpriseクラスター内のノードからclients ディレクトリーのbyos-バージョン.jarファイルをローカルSparkノードにコピーします。

byos-バージョン.jarファイルの場所は、インストールのタイプによって異なります。
```
scp user@dsenode1.example.com:/usr/share/dse/clients/dse-byos_2.11-6.0.2.jar byos-6.0.jar
```
外部Sparkプロパティをbyos.propertiesにマージします。
```
cat ${SPARK_HOME}/conf/spark-defaults.conf >> byos.properties
```
オプション: Kerberos認証を使用している場合は、dse client-tool cassandra renew-token <token>を定期的に呼び出すようにCRONジョブまたは他のタスク・スケジューラーを設定します。ここで、<token>はbyos.propertiesのエンコードされたトークン文字列です。
byos.propertiesとbyos-version.jarファイルを使用して、Sparkシェルを起動します。
```
spark-shell --jars byos-6.0.jar --properties-file  byos.properties
```