Sparkロギング・オプションの構成

Sparkロギング・オプションを構成します。

SparkログのSparkロギング・オプションを構成できます。

ログ・ディレクトリー

logback.xmlファイルの場所は、インストールのタイプによって異なります。

パッケージ・インストールInstaller-Servicesインストール

/etc/dse/cassandra/logback.xml

tarボール・インストールInstaller-No Servicesインストール

installation_location/resources/cassandra/conf/logback.xml
Sparkロギング・ディレクトリーは、Sparkコンポーネントが個々のログ・ファイルを格納するディレクトリーです。DataStax Enterpriseでは、以下の場所にログが配置されます。
エグゼキューター・ログ
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stderr
  • SPARK_WORKER_DIR/worker-n/application_id/executor_id/stdout
Sparkマスター/ワーカー・ログ
Sparkマスター:グローバルsystem.log
Sparkワーカー:SPARK_WORKER_LOG_DIR/worker-n/worker.log

デフォルトのSPARK_WORKER_LOG_DIRの場所は/var/log/spark/workerです。

Spark SQL Thriftサーバーのデフォルトのログ・ディレクトリー
Spark SQL Thriftサーバーを起動するためのデフォルトのログ・ディレクトリーは、$HOME/spark-thrift-serverです。
Sparkシェルおよびアプリケーション・ログ
Sparkシェルおよびアプリケーション・ログはコンソールに出力されます。
SparkRシェル・ログ
SparkRシェルのデフォルトの場所は$HOME/.sparkR.logです
ログ構成ファイル
ログ構成ファイルは、spark-env.sh同じディレクトリーにあります。

手順

Sparkロギング・オプションを構成するには:

  1. ログ・レベルなどのロギング・オプションの構成は、以下のファイルで行います。
    オプション説明
    エグゼキューター logback-spark-executor.xml
    Sparkマスター logback.xml
    Sparkワーカー logback-spark-server.xml
    Sparkドライバー(Sparkシェル、Sparkアプリケーション) logback-spark.xml
    SparkR logback-sparkR.xml
  2. Sparkエグゼキューターのロギングのローリングを有効にするには、以下のオプションをspark-defaults.confに追加します。

    削除前に、保持されている3つのログ・ファイルのロギングのローリングを有効にします。ログ・ファイルは、50,000バイトを最大サイズとしてサイズ別に分割されます。

    spark.executor.logs.rolling.maxRetainedFiles 3
    spark.executor.logs.rolling.strategy size
    spark.executor.logs.rolling.maxSize 50000
    Spark構成ファイルのデフォルトの場所は、インストールのタイプによって異なります。
    • パッケージ・インストールおよびInstaller-Services:/etc/dse/spark/
    • tarボール・インストールおよびInstaller-No Services:installation_location/resources/spark/conf
  3. Sparkユーザー・インターフェイスにアクセスするように、安全な通信チャネルを構成します。
    注: dseコマンドラインで、dse -u username -p passwordのようにプレーン・テキストでユーザー認証情報が指定されている場合、その認証情報は、ドライバーがクラスター・モードで実行されたときにSparkワーカーのログに表示されます。

    Sparkマスター、Sparkワーカー、エグゼキューター、およびドライバーのログには機密情報が含まれている場合があります。機密情報には、コマンドラインまたはSpark構成で渡されるKerberosのガイドラインモードのパスワードやダイジェスト認証トークンが含まれます。DataStaxでは、Sparkユーザー・インターフェイスへのアクセスにVPNやSSHなどの安全な通信チャネルのみを使用することを推奨します。

    ヒント: 認証情報はいくつかの方法で指定できます。「認証対応クラスターへの接続」を参照してください。