外部Sparkクラスター上のSparkシェルを使用したDataStax Enterpriseへの接続

外部のSparkクラスターでSparkシェルを使用してDataStax Enterpriseに接続する

DataStax Enterpriseノードから生成されたbyos.properties構成ファイルとbyos-version.jarを使用して、外部のSparkクラスターのSparkシェルからDataStax Enterpriseクラスターに接続します。

始める前に

byos.propertiesは、DataStax Enterpriseクラスター内のノードで生成する必要があります。

手順

  1. 以前生成したbyos.propertiesファイルをDataStax EnterpriseノードからローカルのSparkノードにコピーします。 
    scp user@dsenode1.example.com:~/byos.properties .
  2. byos-version.jarファイルをDataStax Enterpriseクラスター内のノードのclientsディレクトリーからローカルのSparkノードにコピーします。

    byos-version.jarファイルの場所は、インストールのタイプにより異なります。

    clientsディレクトリーのデフォルトの場所は、インストールのタイプによって異なります。
    Debianインストール /usr/share/dse/clients
    バイナリー・インストール install_location/clients 
    scp user@dsenode1.example.com:/usr/share/dse/clients/dse-byos_2.10-5.0.1-5.0.0-all.jar byos-5.0.jar
  3. 外部のSparkプロパティをbyos.propertiesにマージします。 
    cat ${SPARK_HOME}/conf/spark-defaults.conf >> byos.properties
  4. byos.propertiesとbyos-version.jarファイルを使用してSparkシェルを起動します。 
    spark-shell --jars byos-5.0.jar --properties-file  byos.properties