Sparkパフォーマンス・オブジェクトによるSparkの監視

Sparkクラスター情報の監視

Performance Service（パフォーマンス・サービス）は、DSE Analyticsクラスターに関する情報をdse_perf.spark_cluster_snapshotテーブルに格納します。クラスター・パフォーマンス・オブジェクトは、コア、メモリー、ワーカーなど、使用可能なリソースと使用済みのリソースを、アプリケーションの数、各アプリケーションの状態、アプリケーションが実行されているホストなど、すべての登録済みSparkアプリケーション、ドライバー、およびエグゼキューターに関する全体的な情報とともに、クラスターに格納します。

Sparkクラスター情報の収集を有効にするには、dse.yamlのspark_cluster_info_optionsセクションでオプションを構成します。

dse_perf.spark_cluster_snapshotテーブルには以下のカラムがあります。

name

クラスター名。

active_apps

クラスター内でアクティブなアプリケーションの数。

active_drivers

クラスター内でアクティブなドライバーの数。

completed_apps

クラスター内で完了したアプリケーションの数。

completed_drivers

クラスター内で完了したドライバーの数。

executors

クラスター内のSparkエグゼキューターの数。

master_address

Sparkマスター・ノードのホスト名とポート番号。

master_recovery_state

マスター・ノードの状態。

nodes

クラスター内のノードの数。

total_cores

クラスター内のすべてのノードで使用可能なコアの合計数。

total_memory_mb

クラスターで使用可能なメモリーの合計容量（単位はMB）

used_cores

クラスターで現在使用されているコアの合計数。

used_memory_mb

クラスターで使用されているメモリーの合計容量（単位はMB）。

workers

クラスター内のSparkワーカーの総数。

Sparkアプリケーション情報の監視

Sparkアプリケーションのパフォーマンス情報は、アプリケーションごとに格納され、タスクが終了すると更新されます。これはdse_perf.spark_apps_snapshotテーブルに格納されます。

Sparkアプリケーション情報の収集を有効にするには、dse.yamlのspark_application_info_optionsセクションでオプションを構成します。

spark_application_info_optionsのdriverサブセクションで、Sparkドライバーによって収集されるメトリクスを制御します。

spark_application_info_optionsのexecutorサブセクションで、Sparkエグゼキューターによって収集されるメトリクスを制御します。

dse_perf.spark_apps_snapshotテーブルには以下のカラムがあります。

application_id

component_id

metric_id

count

metric_type

rate_15_min

rate_1_min

rate_5_min

rate_mean

snapshot_75th_percentile

snapshot_95th_percentile

snapshot_98th_percentile

snapshot_999th_percentile

snapshot_99th_percentile

snapshot_max

snapshot_mean

snapshot_median

snapshot_min

snapshot_stddev

value