リモート・クラスターに対してSparkコマンドを実行する

リモート・クラスターに対してSparkコマンドを実行するには、いずれかのリモート・ノードからDSE構成をローカル・クライアント・マシンにエクスポートする必要があります。

リモート・クラスターに対してSparkコマンドを実行するには、いずれかのリモート・ノードからDSE構成をローカル・クライアント・マシンにエクスポートする必要があります。

ドライバー・アプリケーションをリモートで実行するには、リモート・ノードとクライアント・マシン間で全面公開されているネットワーク通信が必要です。

手順

  1. リモート・ノードからのDataStax Enterpriseクライアント構成をクライアント・ノードにエクスポートします。
    1. リモート・ノードで以下を実行します。 
      dse client-tool configuration export dse-config.jar
    2. エクスポートされたJARをクライアント・ノードにコピーします。 
      scp dse-config.jar user@clientnode1.example.com:
    3. クライアント・ノードで以下を実行します。 
      dse client-tool configuration import dse-config.jar
  2. リモート・ノードに対してSparkコマンドを実行します。 
    dse spark-submit submit options myApplication.jar

    ドライバー・ホストを公的にアクセス可能なIPアドレスに設定するには、spark.driver.hostオプションを渡します。

    dse spark-submit --conf spark.driver.host=IP address myApplication.jar