WebインターフェイスでのSparkの監視

Spark Webインターフェイスを使用する

Sparkマスターを利用できない場合は、マスターが利用できるようになるまで、UIは10秒ごとにSparkマスターのポーリングを継続します。

Spark Webインターフェイスは、SSLを使用してセキュリティを確保できます。WebインターフェイスのSSL暗号化は、クライアント暗号化を有効にすると、デフォルトで有効になります。

認証が有効で、プレーン認証が利用可能な場合、Web UIにアクセスすると、認証情報に関するプロンプトが表示されます。認証付きのSSLを使用することを推奨します。

DSE SSL暗号化と認証は、SparkマスターとワーカーのUIのみに適用され、SparkドライバーUIには適用されません。ドライバーUIで暗号化や認証を行うには、Sparkのセキュリティに関するドキュメントを参照してください。

Spark Web UIでは、権限管理はサポートされていません。認証済みユーザーは、UI内のすべてのSparkアプリケーションを監視および管理できます。

Spark Web UIの使用に関する情報については、Sparkのドキュメントを参照してください。

Web UIでの完全修飾ドメイン名の表示

完全修飾ドメイン名（FQDN）をSpark Web UIに表示するには、各Analyticsノードでspark-env.shのSPARK_PUBLIC_DNS変数を設定します。

Web UIのSSLが有効な場合、SPARK_PUBLIC_DNSをノードのFQDNに設定します。

Spark Driver UIでのプロパティのフィルター処理

SparkドライバーUIには、Sparkで使用されているSpark構成とシステム・プロパティの一覧が表示される［Environment］タブがあります。この中には、パスワードやセキュリティ・トークンなどの機密情報が含まれる可能性があります。DSE Sparkでは、こうしたプロパティをフィルター処理し、一連のアスタリスクを使用して、その値をマスクします。spark.ui.confidentialKeysフィルターは、正規表現のコンマ区切りリストとして構成されます。デフォルトでは、この中には、「token」または「password」という文字列を持つすべてのプロパティが含まれます。フィルターを変更するには、Spark構成ディレクトリーにあるspark-defaults.confのspark.ui.confidentialKeysプロパティを編集します。