Sparkのロギング・オプションの構成

Sparkのロギング・オプションを構成します。

SparkログのSparkロギング・オプションは構成が可能です。

ログ・ディレクトリー

logback.xmlファイルの場所は、インストールのタイプによって異なります。
Installer-Servicesおよびパッケージ・インストール /etc/dse/cassandra/conf/logback.xml
Installer-No Servicesおよびtarボール・インストール install_location/resources/cassandra/conf/logback.xml
Sparkロギング・ディレクトリーは、Sparkコンポーネントが個々のログ・ファイルを格納するディレクトリーです。DataStax Enterpriseでは、以下の場所にログが配置されます。
エグゼキューター・ログ
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stderr
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stdout
Sparkマスター/ワーカー・ログ
Sparkマスター：グローバルのsystem.log
Sparkワーカー：SPARK_WORKER_LOG_DIR/worker-n/worker.log

デフォルトのSPARK_WORKER_LOG_DIRの場所は/var/log/spark/workerです。

Spark CQL Thriftサーバーのデフォルトのログ・ディレクトリー 
Spark CQL Thriftサーバーを起動するためのデフォルトのログ・ディレクトリーは、$HOME/spark-thrift-serverです。
SparkシェルおよびSparkアプリケーションのログ
SparkシェルおよびSparkアプリケーションのログは、コンソールに出力されます。
ログ構成ファイル
ログ構成ファイルは、spark-env.shと同じディレクトリーにあります。

手順

Sparkのロギング・オプションを構成するには、以下の操作を実行します。

  1. ログ・レベルなどのロギング・オプションの構成は、以下のファイルで行います。
    オプション 説明
    エグゼキューター logback-spark-executor.xml
    Sparkマスター logback.xml
    Sparkワーカー logback-spark-server.xml
    Sparkドライバー（Sparkシェル、Sparkアプリケーション） logback-spark.xml
  2. Sparkユーザー・インターフェイスにアクセスするための安全な通信チャネルを構成します。
    注: ユーザー認証情報がdseコマンド・ラインでdse -u username -p passwordのようにプレーン・テキストで指定されると、ドライバーがクラスター・モードで実行されているときに認証情報がSparkワーカーのログに表示されます。ヒント：認証情報を複数の方法で提供できます。「認証情報」を参照してください。

    Sparkマスター、Sparkワーカー、エグゼキューター、およびドライバーのログには機密情報が含まれている場合があります。機密情報には、コマンド・ラインやSpark構成で渡される、Kerberos認証モード用のパスワードやダイジェスト認証トークンが含まれます。DataStaxでは、VPNやSSHなどの安全な通信チャネルのみを使用してSparkユーザー・インターフェースにアクセスすることを推奨しています。