Sparkの起動

Sparkの起動方法はインストールによって異なり、また、SparkモードまたはSearchAnalyticsモードで実行することが必要かどうかによっても異なります。

Sparkの起動方法はインストールによって異なり、また、SparkモードまたはSearchAnalyticsモードで実行することが必要かどうかによっても異なります。

パッケージおよびInstaller-Servicesのインストール：

SparkトラッカーをAnalyticsノードのクラスターで起動するには、/etc/default/dseファイルを編集してSPARK_ENABLEDを1に設定します。

DataStax Enterpriseをサービスとして起動すると、ノードがSparkノードとして起動されます。追加のコンポーネントを有効にすることができます。

Mode	/etc/default/dseのオプション	説明
Spark	SPARK_ENABLED=1	Sparkモードでノードを起動します。
SearchAnalytics mode	SPARK_ENABLED=1 SEARCH_ENABLED=1	SearchAnalyticsモードでは、実稼働クラスターで使用する前にお使いの環境でテストする必要があります。dse.yamlにcql_solr_query_paging: driverが必要です。

tarボールおよびInstaller-No Servicesのインストール：

SparkトラッカーをAnalyticsノードのクラスターで起動するには、-kオプションを使用します。

$ installation_location/bin/dse cassandra -k

注: スニッチのプロパティ・ファイルでデータ・センターを構成していない場合、-kを使用して起動されたノードはデフォルトのAnalyticsデータ・センターに自動的に割り当てられます。

追加のコンポーネントを有効にすることができます。

Mode	オプション	説明
Spark	-k	Sparkモードでノードを起動します。
SearchAnalytics mode	-ks	dse.yamlにcql_solr_query_paging: driverが必要です。

例を次に示します。

ノードをSearchAnalyticsモードで起動するには、-kオプションと-sオプションを使用します。

$ installation_location/bin/dse cassandra -k -s

または

$ installation_location/bin/dse cassandra -ks

Sparkオプションを使用してノードを起動すると、dsetool ringコマンドの出力のAnalytics(SM)ワークロードによって示されるとおり、マスターとして指定されたノードが起動します。

dsetool ring Address DC Rack Workload Graph Status State Load Owns Token Health [0,1] 0 10.200.175.149 Analytics rack1 Analytics(SM) no Up Normal 185 KiB ? -9223372036854775808 0.90 10.200.175.148 Analytics rack1 Analytics(SW) no Up Normal 194.5 KiB ? 0 0.90 Note: you must specify a keyspace to get ownership information.

$ sudo rm -r ~/.spark

export DSE_USERNAME=user export DSE_PASSWORD=secret

dse://[Spark node address[:port number]]?[parameter name=parameter value;]...