WebインターフェイスでのSparkの監視

Spark Webインターフェイスを使用する

SparkのWebインターフェイスを使用するには、SparkノードのリッスンIPアドレスに続き、ポート番号7080をブラウザーで入力します（spark-env.sh構成ファイルで構成します）。DSE 5.1以降では、Analyticsデータ・センター内のすべてのSparkノードは、現在のSparkマスターにリダイレクトします。

Sparkマスターを利用できない場合は、マスターが利用できるようになるまで、UIは10秒ごとにSparkマスターのポーリングを継続します。

Spark Webインターフェイスは、SSLを使用してセキュリティを確保できます。WebインターフェイスのSSL暗号化は、クライアント暗号化を有効にすると、デフォルトで有効になります。

認証が有効で、プレーン認証が利用可能な場合、Web UIにアクセスすると、認証情報に関するプロンプトが表示されます。認証付きのSSLを使用することを推奨します。

DSE SSL暗号化と認証は、SparkマスターとワーカーのUIのみに適用され、SparkドライバーUIには適用されません。ドライバーUIで暗号化や認証を行うには、Sparkのセキュリティに関するドキュメントを参照してください。

UIには、Sparkが使用できるコア数とメモリー容量の合計、各ワーク・プール内でSparkが使用できるコア数とメモリー容量、および各Sparkワーカーの同様の情報が含まれます。アプリケーションには、関連するワーク・プールのリストが表示されます。

Spark Web UIの使用に関する情報については、Sparkのドキュメントを参照してください。

Spark Web UIでの認証

認証が有効になり、認証されたユーザーがWeb UIにアクセスすると、表示および実行できる操作は、パーミッションによって制御されます。これにより管理者は、特定のアプリケーション・ログの表示、アプリケーションのエグゼキューターの表示、アプリケーションの強制終了、およびすべてのアプリケーションの一覧表示を行うパーミッションを持つユーザーを制御できます。アプリケーションの表示および変更は、データ・センター、ワーク ・プール、またはアプリケーションごとに構成できます。

パーミッションの付与の詳細については、「Sparkでの認証の使用」を参照してください。

Web UIでの完全修飾ドメイン名の表示

完全修飾ドメイン名（FQDN）をSpark Web UIに表示するには、各Analyticsノードにあるspark-env.sh 内のSPARK_PUBLIC_DNS変数を設定します。

Web UIのSSLが有効な場合、SPARK_PUBLIC_DNSをノードのFQDNに設定します。

マスターの完全修飾ドメイン名へのリダイレクト

各ノードにあるspark-env.sh 内のSPARK_LOCAL_IPまたはSPARK_LOCAL_HOSTNAMEをノードの完全修飾ドメイン名（FQDN）に設定し、SparkマスターのFQDNを使用してWeb UIへのリダイレクトを強制します。これは、Web UIでSSLを有効にする場合に便利です。

export SPARK_LOCAL_HOSTNAME=FQDN of the node

Spark Driver UIでのプロパティのフィルター処理

SparkドライバーUIには、Sparkで使用されているSpark構成とシステム・プロパティの一覧が表示される［Environment］タブがあります。この中には、パスワードやセキュリティ・トークンなどの機密情報が含まれる可能性があります。DSE Sparkでは、こうしたプロパティをフィルター処理し、一連のアスタリスクを使用して、その値をマスクします。spark.redaction.regexフィルターは、デフォルトで文字列"secret"、"token"、または"password"を含むすべてのプロパティとすべてのシステム・プロパティを含む正規表現として構成されます。フィルターを変更するには、Spark構成ディレクトリーにあるspark-defaults.conf 内のspark.redaction.regexプロパティを編集します。