Sparkロギング・オプションの構成

Sparkロギング・オプションを構成します。

SparkログのSparkロギング・オプションを構成できます。

ログ・ディレクトリー

logback.xmlファイルの場所は、インストールのタイプによって異なります。

パッケージ・インストールInstaller-Servicesインストール	/etc/dse/cassandra/logback.xml
tarボール・インストールInstaller-No Servicesインストール	`installation_location`/resources/cassandra/conf/logback.xml

Sparkロギング・ディレクトリーは、Sparkコンポーネントが個々のログ・ファイルを格納するディレクトリーです。DataStax Enterpriseでは、以下の場所にログが配置されます。

エグゼキューター・ログ

SPARK_WORKER_DIR/worker-n/application_id/executor_id/stderr
SPARK_WORKER_DIR/worker-n/application_id/executor_id/stdout

Sparkマスター/ワーカー・ログ

Sparkマスター：グローバルsystem.log

Sparkワーカー：SPARK_WORKER_LOG_DIR/worker-n/worker.log

デフォルトのSPARK_WORKER_LOG_DIRの場所は/var/log/spark/workerです。

Spark SQL Thriftサーバーのデフォルトのログ・ディレクトリー

Spark SQL Thriftサーバーを起動するためのデフォルトのログ・ディレクトリーは、$HOME/spark-thrift-serverです。

Sparkシェルおよびアプリケーション・ログ

Sparkシェルおよびアプリケーション・ログはコンソールに出力されます。

SparkRシェル・ログ

SparkRシェルのデフォルトの場所は$HOME/.sparkR.logです

ログ構成ファイル

ログ構成ファイルは、spark-env.shと同じディレクトリーにあります。

手順

Sparkロギング・オプションを構成するには：

ログ・レベルなどのロギング・オプションの構成は、以下のファイルで行います。

オプション	説明
エグゼキューター	logback-spark-executor.xml
Sparkマスター	logback.xml
Sparkワーカー	logback-spark-server.xml
Sparkドライバー（Sparkシェル、Sparkアプリケーション）	logback-spark.xml
SparkR	logback-sparkR.xml

Sparkエグゼキューターのロギングのローリングを有効にするには、以下のオプションをspark-defaults.confに追加します。
削除前に、保持されている3つのログ・ファイルのロギングのローリングを有効にします。ログ・ファイルは、50,000バイトを最大サイズとしてサイズ別に分割されます。
```
spark.executor.logs.rolling.maxRetainedFiles 3
spark.executor.logs.rolling.strategy size
spark.executor.logs.rolling.maxSize 50000
```
Spark構成ファイルのデフォルトの場所は、インストールのタイプによって異なります。
- パッケージ・インストールおよびInstaller-Services：/etc/dse/spark/
- tarボール・インストールおよびInstaller-No Services：installation_location/resources/spark/conf
Sparkユーザー・インターフェイスにアクセスするように、安全な通信チャネルを構成します。

注: dseコマンドラインで、dse -u username -p passwordのようにプレーン・テキストでユーザー認証情報が指定されている場合、その認証情報は、ドライバーがクラスター・モードで実行されたときにSparkワーカーのログに表示されます。
Sparkマスター、Sparkワーカー、エグゼキューター、およびドライバーのログには機密情報が含まれている場合があります。機密情報には、コマンドラインまたはSpark構成で渡されるKerberosのガイドラインモードのパスワードやダイジェスト認証トークンが含まれます。DataStaxでは、Sparkユーザー・インターフェイスへのアクセスにVPNやSSHなどの安全な通信チャネルのみを使用することを推奨します。

ヒント: 認証情報はいくつかの方法で指定できます。「認証対応クラスターへの接続」を参照してください。