Spark SQLスキーマ・ファイルの生成

外部Sparkクラスター上でSpark SQLで使用するためのSpark SQLスキーマ・ファイルを生成します。

Spark SQLは、DataStax Enterpriseで生成されたスキーマ・ファイルをインポートできます。

手順

  1. dse client-toolを使用して、スキーマ・ファイルをエクスポートします。 
    $ dse client-tool --use-server-config spark sql-schema --all > output.sql
  2. このスキーマを外部Sparkノードにコピーします。 
    $ scp output.sql user@sparknode1.example.com:
  3. Sparkノードで、Sparkを使用してスキーマをインポートします。 
    $ spark-sql --jars byos-5.1.jar --properties-file byos.properties -f output.sql