外部SparkクラスターでSparkシェルを使用してDataStax Enterpriseに接続する

外部SparkクラスターでSparkシェルを使用し、DataStax Enterpriseに接続する

DataStax Enterpriseノードから生成済みのbyos.properties構成ファイルとbyos-version.jarを使用して、外部SparkクラスターのSparkシェルからDataStax Enterpriseクラスターに接続します。

始める前に

DataStax Enterpriseクラスターのノード上でbyos.propertiesを生成する必要があります。

DataStax Enterpriseノードから以前に生成したbyos.propertiesファイルをローカルのSparkノードにコピーします。
```
$ scp user@dsenode1.example.com:~/byos.properties .
```
Kerberos認証を使用している場合は、「dse client-tool」に説明されているように、byos.propertiesを生成するときに--generate-tokenオプションと--token-renewer <username>オプションを指定します。

ディレクトリーのbyos-version.jarファイルをDataStax EnterpriseクラスターのノードからローカルのSparkノードにコピーします。

byos-version.jarファイルの場所は、インストールのタイプによって異なります。

clientsディレクトリーのデフォルトの場所は、インストールのタイプによって異なります。

パッケージ・インストールInstaller-Servicesインストール	/usr/share/dse/clients
tarボール・インストールInstaller-No Servicesインストール	`installation_location`/clients

$ scp user@dsenode1.example.com:/usr/share/dse/clients/dse-byos_2.10-5.0.1-5.0.0-all.jar byos-5.0.jar

外部Sparkプロパティをbyos.propertiesにマージします。
```
$ cat ${SPARK_HOME}/conf/spark-defaults.conf >> byos.properties
```
オプション: Kerberos認証を使用している場合は、dse client-tool cassandra renew-token <token>を定期的に呼び出すようにCRONジョブまたは他のタスク・スケジューラーを設定します。ここで、<token>はbyos.propertiesのエンコードされたトークン文字列です。
byos.propertiesとbyos-version.jarファイルを使用して、Sparkシェルを起動します。
```
$ spark-shell --jars byos-5.0.jar --properties-file byos.properties
```