外部SparkクラスターでSparkシェルを使用してDataStax Enterpriseに接続する

外部SparkクラスターでSparkシェルを使用し、DataStax Enterpriseに接続する

DataStax Enterpriseノードから生成済みのbyos.properties構成ファイルbyos-version.jarを使用して、外部SparkクラスターのSparkシェルからDataStax Enterpriseクラスターに接続します。

始める前に

DataStax Enterpriseクラスターのノード上でbyos.propertiesを生成する必要があります。

手順

  1. DataStax Enterpriseノードから以前に生成したbyos.propertiesファイルをローカルのSparkノードにコピーします。
    $ scp user@dsenode1.example.com:~/byos.properties .

    Kerberos認証を使用している場合は、「dse client-tool」に説明されているように、byos.propertiesを生成するときに--generate-tokenオプションと--token-renewer <username>オプションを指定します。

  2. clientsディレクトリーのbyos-version.jarファイルをDataStax EnterpriseクラスターのノードからローカルのSparkノードにコピーします。

    byos-version.jarファイルの場所は、インストールのタイプによって異なります。

    clientsディレクトリーのデフォルトの場所は、インストールのタイプによって異なります。

    パッケージ・インストールInstaller-Servicesインストール

    /usr/share/dse/clients

    tarボール・インストールInstaller-No Servicesインストール

    installation_location/clients
    $ scp user@dsenode1.example.com:/usr/share/dse/clients/dse-byos_2.10-5.0.1-5.0.0-all.jar byos-5.0.jar
  3. 外部Sparkプロパティをbyos.propertiesにマージします。
    $ cat ${SPARK_HOME}/conf/spark-defaults.conf >> byos.properties
  4. オプション: Kerberos認証を使用している場合は、dse client-tool cassandra renew-token <token>を定期的に呼び出すようにCRONジョブまたは他のタスク・スケジューラーを設定します。ここで、<token>byos.propertiesのエンコードされたトークン文字列です。
  5. byos.propertiesbyos-version.jarファイルを使用して、Sparkシェルを起動します。
    $ spark-shell --jars byos-5.0.jar --properties-file byos.properties