Sparkロギング・オプションの構成

Sparkロギング・オプションを構成します。

SparkログのSparkロギング・オプションを構成できます。

logback.xml

logback.xmlファイルの場所は、インストールのタイプによって異なります。
パッケージ・インストール /etc/dse/cassandra/logback.xml
tarボール・インストール installation_location/resources/cassandra/conf/logback.xml

ログ・ディレクトリー

Sparkログ・ディレクトリーは、Sparkコンポーネントが個々のログ・ファイルを格納するディレクトリーです。DataStax Enterpriseでは、以下の場所にログが配置されます。
エグゼキューター・ログ
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stderr
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stdout
Sparkのマスター・ログ/ワーカー・ログ
Sparkマスター:グローバルsystem.log
Sparkワーカー:SPARK_WORKER_LOG_DIR/worker-n/worker.log

デフォルトのSPARK_WORKER_LOG_DIRの場所は/var/log/spark/workerです。

Spark SQL Thriftサーバーのデフォルトのログ・ディレクトリー
Spark SQL Thriftサーバーを起動するためのデフォルトのログ・ディレクトリーは、$HOME/spark-thrift-serverです。
Sparkシェルおよびアプリケーション・ログ
Sparkシェルおよびアプリケーション・ログはコンソールに出力されます。
SparkRシェル・ログ
SparkRシェルのデフォルトの場所は$HOME/.sparkR.logです
ログ構成ファイル
ログ構成ファイルは、spark-env.sh同じディレクトリーにあります。

手順

Sparkロギング・オプションを構成するには:
  1. ログ・レベルなどのロギング・オプションの構成は、以下のファイルで行います。
    オプション説明
    エグゼキューター logback-spark-executor.xml
    Sparkマスター logback.xml
    Sparkワーカー logback-spark-server.xml
    Sparkドライバー(Sparkシェル、Sparkアプリケーション) logback-spark.xml
    SparkR logback-sparkR.xml
  2. Sparkエグゼキューターのロギングのローリングを有効にするには、以下のオプションをspark-defaults.confに追加します。

    削除前に、保持されている3つのログ・ファイルのロギングのローリングを有効にします。ログ・ファイルは、50,000バイトを最大サイズとしてサイズ別に分割されます。

    spark.executor.logs.rolling.maxRetainedFiles 3
    spark.executor.logs.rolling.strategy size
    spark.executor.logs.rolling.maxSize 50000
    Spark構成ファイルのデフォルトの場所は、インストールのタイプによって異なります。
    • パッケージ・インストール:/etc/dse/spark/
    • tarボール・インストール:installation_location/resources/spark/conf
  3. Sparkユーザー・インターフェイスにアクセスするように、安全な通信チャネルを構成します。
    注: dseコマンドラインで、dse -u username -p passwordのようにプレーン・テキストでユーザー認証情報が指定されている場合、その認証情報は、ドライバーがクラスター・モードで実行されたときにSparkワーカーのログに表示されます。

    Sparkマスター、Sparkワーカー、エグゼキューター、およびドライバーのログには機密情報が含まれている場合があります。機密情報には、コマンドラインまたはSpark構成ファイルに渡されるKerberosガイドライン・モードのパスワードやダイジェスト認証トークンが含まれます。DataStaxでは、Sparkユーザー・インターフェイスへのアクセスにVPNやSSHなどの安全な通信チャネルのみを使用することを推奨します。

    ヒント: 認証用の資格情報はさまざまな方法で提供できます。「認証のための資格情報」を参照してください。