Spark SQLを使用した、静的カラムを持つテーブルへのデータの挿入

静的カラムは、Spark SQL内の別のカラムにマップされ、特別な取り扱いが必要です。

静的カラムは、Spark SQL内の別のカラムにマップされ、特別な取り扱いが必要です。Spark SQL ThriftサーバーはHiveを使用します。挿入クエリーを実行する際に、これらのカラムにデータを渡す必要があります。

別のカラムの周辺で作業するには、挿入Hiveテーブル・プロパティでcql3.output.queryを設定し、挿入されているカラムを制限します。Spark SQLで外部テーブルを変更し、プリペアド・ステートメントをHive CQL出力クエリーの値として構成します。たとえば、このプリペアド・ステートメントは、mytable内の列aおよびbに挿入された値を受け取り、これらの値をカラムbおよびaにそれぞれマッピングして、新しい行に挿入できるようにします。

spark-sql> ALTER TABLE mytable SET TBLPROPERTIES ('cql3.output.query' = 'update
      mykeyspace.mytable set b = ? where a = ?'); 
spark-sql> ALTER TABLE mytable SET SERDEPROPERTIES ('cql3.update.columns' =
    'b,a');