DSE Analytics以外で実行されているアプリケーションのSparkセッションおよびコンテキストへのアクセス

DSE Analytics環境以外で実行されるアプリケーションのセッション・オブジェクトとコンテキスト・オブジェクトをオプションで作成できます。

DSE Analytics環境以外で実行されるアプリケーションのセッション・オブジェクトとコンテキスト・オブジェクトをオプションで作成できます。これは、アプリケーションがクラスパスと構成設定を処理するためにdse spark-submitを使用しない高度なユース・ケース向けです。

すべてのクラスパスとJARディストリビューションは、アプリケーションによって処理される必要があります。アプリケーション・クラスパスには、dse spark-classpathコマンドの出力を含める必要があります。

$ dse spark-classpath

Builder APIを使用してDSE Sparkセッションを作成する

DSE Analyticsアプリケーション環境以外でDSE Sparkセッションを作成するには、Sparkセッションの作成時に、DseConfigurationクラスとenableDseSupportメソッドを使用します。

import org.apache.spark.sql.SparkSession
import com.datastax.spark.connector.DseConfiguration._
val spark = SparkSession.builder
.appName("Datastax Scala example")
.master("dse://127.0.0.1?")
.config("spark.jars", "target/scala-2.11/writeread_2.11-0.1.jar")
.enableHiveSupport()
.enableDseSupport()
.getOrCreate()

Sparkコンテキストの作成

Sparkコンテキスト・オブジェクトを作成するときは、DseConfigurationクラスを使用して、SparkConfigurationインスタンスの作成時にenableDseSupportメソッドを呼び出します。Scalaでは以下のようになります。

import com.datastax.spark.connector.DseConfiguration._
new SparkConf().enableDseSupport()

Javaでは以下のようになります。

SparkConf rawConf = new SparkConf();
SparkConf conf = DseConfiguration.enableDseSupport(rawConf);