Spark SQLスキーマ・ファイルの生成

外部のSparkクラスターでSpark SQLと併用するSpark SQLスキーマ・ファイルの生成を生成します。

Spark SQLは、DataStax Enterpriseが生成したスキーマ・ファイルをインポートできます。

手順

  1. dse client-toolを使用してスキーマ・ファイルをエクスポートします。 
    dse client-tool --use-server-config spark sql-schema -all > output.sql
  2. スキーマを外部のSparkノードにコピーします。 
    scp output.sql user@sparknode1.example.com:
  3. Sparkノードで、Sparkを使用してスキーマをインポートします。 
    spark-sql --jars byos-5.0.jar --properties-file  byos.properties -f  output.sql