WebインターフェイスでのSparkの監視

Spark Webインターフェイスは、DataStax Enterpriseにバンドルされています。Spark Webインターフェイスを使用すると、Sparkの監視、デバッグ、管理を容易に行うことができます。

spark-defaults.conf

spark-defaults.confファイルのデフォルトの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/spark/spark-defaults.conf
tarボール・インストール installation_location/resources/spark/conf/spark-defaults.conf

spark-daemon-defaults.conf

spark-daemon-defaults.confファイルのデフォルトの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/spark/spark-daemon-defaults.conf
tarボール・インストール installation_location/resources/spark/conf/spark-daemon-defaults.conf

spark-env.sh

spark-env.shファイルのデフォルトの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/spark/spark-env.sh
tarボール・インストール installation_location/resources/spark/conf/spark-env.sh

DataStax EnterpriseにバンドルされているWebインターフェイスを使用すると、Sparkの監視、デバッグ、管理を容易に行うことができます。

Spark Webインターフェイスを使用する

SparkのWebインターフェイスを使用するには、SparkノードのリッスンIPアドレスに続き、ポート番号7080をブラウザーで入力します(spark-env.sh構成ファイルで構成します)。DSE 5.1以降では、Analyticsデータ・センター内のすべてのSparkノードは、現在のSparkマスターにリダイレクトします。

Sparkマスターを利用できない場合は、マスターが利用できるようになるまで、UIは10秒ごとにSparkマスターのポーリングを継続します。

Spark Webインターフェイスは、SSLを使用してセキュリティを確保できます。WebインターフェイスのSSL暗号化は、クライアント暗号化を有効にすると、デフォルトで有効になります。

認証が有効で、プレーン認証が利用可能な場合、Web UIにアクセスすると、認証情報に関するプロンプトが表示されます。認証付きのSSLを使用することを推奨します。

注: Spark Web UIでは、Kerberos認証はサポートされていません。認証が有効で、LDAPまたは内部認証のいずれかが利用できない場合、Spark Web UIにはアクセスできません。この場合は、Spark構成ディレクトリーにあるspark-daemon-defaults.conf 内のspark.ui.filters設定を削除して、Spark Web UIの認証のみを無効にします。

DSE SSL暗号化と認証は、SparkマスターとワーカーのUIのみに適用され、SparkドライバーUIには適用されません。ドライバーUIで暗号化や認証を行うには、Sparkのセキュリティに関するドキュメントを参照してください。



UIには、Sparkが使用できるコア数とメモリー容量の合計、各ワーク・プール内でSparkが使用できるコア数とメモリー容量、および各Sparkワーカーの同様の情報が含まれます。アプリケーションには、関連するワーク・プールのリストが表示されます。

Spark Web UIの使用に関する情報については、Sparkのドキュメントを参照してください。

Spark Web UIでの認証

認証が有効になり、認証されたユーザーがWeb UIにアクセスすると、表示および実行できる操作は、パーミッションによって制御されます。これにより管理者は、特定のアプリケーション・ログの表示、アプリケーションのエグゼキューターの表示、アプリケーションの強制終了、およびすべてのアプリケーションの一覧表示を行うパーミッションを持つユーザーを制御できます。アプリケーションの表示および変更は、データ・センター、ワーク ・プール、またはアプリケーションごとに構成できます。

パーミッションの付与の詳細については、「Sparkでの認証の使用」を参照してください。

Web UIでの完全修飾ドメイン名の表示

完全修飾ドメイン名(FQDN)をSpark Web UIに表示するには、各Analyticsノードにあるspark-env.sh 内のSPARK_PUBLIC_DNS変数を設定します。

Web UIのSSLが有効な場合、SPARK_PUBLIC_DNSをノードのFQDNに設定します。

マスターの完全修飾ドメイン名へのリダイレクト

各ノードにあるspark-env.sh 内のSPARK_LOCAL_IPまたはSPARK_LOCAL_HOSTNAMEをノードの完全修飾ドメイン名(FQDN)に設定し、SparkマスターのFQDNを使用してWeb UIへのリダイレクトを強制します。これは、Web UIでSSLを有効にする場合に便利です。

export SPARK_LOCAL_HOSTNAME=FQDN of the node

Spark Driver UIでのプロパティのフィルター処理

SparkドライバーUIには、Sparkで使用されているSpark構成とシステム・プロパティの一覧が表示される[Environment]タブがあります。この中には、パスワードやセキュリティ・トークンなどの機密情報が含まれる可能性があります。DSE Sparkでは、こうしたプロパティをフィルター処理し、一連のアスタリスクを使用して、その値をマスクします。spark.redaction.regexフィルターは、デフォルトで文字列"secret"、"token"、または"password"を含むすべてのプロパティとすべてのシステム・プロパティを含む正規表現として構成されます。フィルターを変更するには、Spark構成ディレクトリーにあるspark-defaults.conf 内のspark.redaction.regexプロパティを編集します。