DSEを使用したSpark構造化ストリーミング・シンクの作成

Spark構造化ストリーミング・シンクは、データをDSEにプルします。

Spark構造化ストリーミングは、ストリーミング・アプリケーション用の高レベルAPIです。DSEでは、構造化ストリーミングによるDSEへのデータの格納をサポートしています。

次のScalaの例は、cassandraFormatメソッドを使用してストリーミング・ソースからDSEにデータを格納する方法を示しています。

val query = source.writeStream
  .option("checkpointLocation", checkpointDir.toString)
  .cassandraFormat("table name", "keyspace name")
  .outputMode(OutputMode.Update)
  .start()

次の使用例では、OutputModeをUpdateに設定しています（Spark APIのドキュメントを参照）。

cassandraFormatメソッドは、org.apache.spark.sql.cassandra でformatメソッドを呼び出すのと同じです。

val query = source.writeStream
  .option("checkpointLocation", checkpointDir.toString)
  .format("org.apache.spark.sql.cassandra")
    .option("keyspace", ks)
    .option("table", "kv")
  .outputMode(OutputMode.Update)
  .start()