Sparkマスターの自動管理

Sparkマスターの選択は、自動的に管理されます。

Sparkマスターの選択は、自動的に管理されます。

dsetoolのコマンドとオプションについては、「dsetool」を参照してください。

Sparkマスターのアドレスを特定する

以下のコマンドを使用して、Sparkマスターのアドレスを特定します。
  • このデータセンター内のSparkマスターの現在のアドレスを表示するには、以下のように入力します。
    dse client-tool spark master-address
    10.200.176.232:8012
  • Sparkマスターのワークロードはワークロード: Analytics(JT)としてフラグ付けされます。
    dsetool ring
    10.200.176.232 Analytics rack1 Analytics(JT) no Up Normal 240.59 KB 33.33% 3074457345618258602 0.64

dse_leasesキースペースに対してレプリケーション係数が正しく構成されていることを確認する

dse_leasesキースペースが適切にレプリケートされない場合、Sparkマスターが選択されないことがあります。
重要: 新しいデータ・センターを追加するたびに、新しいDSE Analyticsデータ・センターについて、dse_leasesキースペースのレプリケーション係数を手動で増やす必要があります。クラスター上でDataStax EnterpriseまたはSparkのセキュリティ・オプションが有効な場合、すべての論理データ・センター上でdse_securityキースペースのレプリケーション係数も増やす必要があります。
T最初のノードのみ、dse_leasesキースペースのレプリケーション係数は1です。新しいデータ・センターの場合、最初のノードは、そのデータ・センターについてdse_leasesキースペースのレプリケーション係数に1が指定されて作成されます。ただし、追加するデータ・センターでは、レプリケーション係数が0で、DSE Analyticsノードを起動する前に構成する必要があります。複数のAnalyticsデータ・センターについて、dse_leasesキースペースのレプリケーション係数を変更する必要があります。Analyticsキースペースのレプリケーション係数の設定」を参照してください。

leaseサブシステムを監視する

leaseホルダーへのすべての変更は、dse_leases.logsテーブルに記録されます。ほとんどの場合、ロギングを有効にする必要はありません。
  1. ロギングを有効にするには、lease_metrics_optionsdse.yamlファイル内で有効になっていることを確認します。
    lease_metrics_options:
    enabled:true
    ttl_seconds: 604800
  2. dse_leases.logsテーブルを確認します。
    cqlsh> select * from dse_leases.logs ;
    name | dc | monitor | at | new_holder | old_holder
    ----------------------------------------------------------------------+-----------
    HadoopJT | Analytics | 10.200.176.231 | 2016-03-15 00:16:49+0000 | 10.200.176.231 |
  3. lease_metrics_optionが有効になると、acquire、renew、resolve、およびdisable操作を調べることができるようになります。ほとんどの場合、これらの操作は100 ms以内に完了します。
    cqlsh> select * from dse_perf.leases ;
    name | dc | monitor | acquire_average_latency_ms | acquire_latency99ms | acquire_max_latency_ms | acquire_rate15 | disable_average_latency_ms | disable_latency99ms | disable_max_latency_ms | disable_rate15 | renew_average_latency_ms | renew_latency99ms | renew_max_latency_ms | renew_rate15 | resolve_average_latency_ms | resolve_latency99ms | resolve_max_latency_ms | resolve_rate15 | up | up_or_down_since
    -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
    HadoopJT | Analytics | 10.200.176.231 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 58 | 104 | 115 | 0 | True | 2016-03-16 19:31:45+0000
  4. ログの警告やエラーに関連する情報が含まれていない場合は、logback.xmlファイルを編集し、以下を追加します。
    <logger name="com.datastax.bdp.leasemanager" level="DEBUG"> 
  5. ノードを再起動し、デバッグ設定を有効にします。

トラブルシューティング

DataStax EnterpriseのExpertサポートに連絡する前に、以下のさまざまなleaseホルダーのトラブルシューティング作業を実行してください。
ワークロード・ステータスの確認
dsetool ringコマンドを実行します。
dsetool ring
レプリケーション係数が不適切であるか、レプリカがダウンしている場合は、dsetool ringコマンドの出力に次の警告が含まれます。
Address DC Rack Workload Graph Status State Load Owns Token Health[0,1)
 -3074457345618258603
10.200.176.231 Analytics rack1 Analytics(TT) no Up Normal 221.96 KB 33.33% -9223372036854775808 0.98 
10.200.176.232 Analytics rack1 Analytics(TT) no Down Down 139.05 KB 33.33% 3074457345618258602 0.0 
10.200.176.233 Analytics rack1 Analytics(TT) no Up Normal 182.66 KB 33.33% -3074457345618258603 0.0 
Warning:only 0 of the 1 replicas for the HadoopJT.Analytics lease are alive.Sparkmaster/JobTracker nodes will not be elected until a quorum of live nodes is achieved.Increasing the replication factor of the dse_leases keyspace in this datacenter to 3 will increase reliability.
{10.200.176.232=DOWN}
Sparkマスターの自動選択に失敗した場合は、適切なレプリケーション係数がdse_leasesキースペースに対して設定されていることを確認します。
cqlshコマンドを使用したAnalyticsキースペースのレプリケーション係数の確認
  1. dse_leasesキースペースに対してDESCRIBEコマンドを実行します。
    cqlsh> DESCRIBE KEYSPACE dse_leases;
    
    CREATE KEYSPACE dse_leases WITH replication =
    { 'class' :'NetworkTopologyStrategy', 'Analytics1':'1'}
    AND durable_writes = true;
  2. dse_leasesキースペースのレプリケーション係数を増加します。
    cqlsh> ALTER KEYSPACE dse_leases WITH replication =
    { 'class' :'NetworkTopologyStrategy', 'Analytics1':'3', 'Analytics2':'3'}
    ;
  3. nodetool repairを実行します。
dse.yamlファイルの場所は、インストールのタイプによって異なります。
Installer-Services /etc/dse/dse.yaml
パッケージ・インストール /etc/dse/dse.yaml
Installer-No Services install_location/resources/dse/conf/dse.yaml
tarボール・インストール install_location/resources/dse/conf/dse.yaml
logback.xmlファイルの場所は、インストールのタイプによって異なります。
Installer-Servicesおよびパッケージ・インストール /etc/dse/cassandra/conf/logback.xml
Installer-No Servicesおよびtarボール・インストール install_location/resources/cassandra/conf/logback.xml