内部認証を使用したspark-submitジョブの実行

内部認証を使用したspark-submitジョブの実行例

この例では、内部認証を使用してspark-submitジョブを実行する方法を示します。

dse spark-submitを使用してSparkジョブを送信すると、SparkマスターURLとSparkデータベース接続URLが自動的に設定されます。Sparkセッション・ビルダーAPIを使用して、アプリケーション名を設定します。例を次に示します。

SparkSession spark = SparkSession
      .builder()
      .appName("Datastax Java example")
      .getOrCreate();

githubから例のソース・ファイルの複製を作成します。
```
git clone https://github.com/datastax/SparkBuildExamples.git
```
希望の言語とビルド・システムを選択します。たとえば、JavaやMavenの場合は次のようになります。
```
cd SparkBuildExamples/java/maven/dse
```
Mavenを使用してパッケージを構築します。
```
mvn package
```
認証資格情報を作成します。
認証用の資格情報は、複数の方法で指定できます。「DSEツールからの認証情報の提供」を参照してください。
spark-submitを使用して、アプリケーションを実行します。次の例では、環境変数または構成ファイルに認証資格情報を設定したことを前提としています。
```
dse spark-submit --class com.datastax.spark.example.WriteRead ./target/writeRead-0.1.jar
```