DSEFSを使用し、データ・レプリケーションを構成して、Kafkaログの保持設定を含むその他の機能を実行するためのステップ。
データ・レプリケーションを構成する必要があります。オプションで、データ・センターで複数のDSEFSファイル・システムを構成し、Kafkaログの保持設定を含むその他の機能を実行できます。dse.yamlファイルの場所は、インストールのタイプによって異なります。
Installer-Services |
/etc/dse/dse.yaml |
パッケージ・インストール |
/etc/dse/dse.yaml |
Installer-No Services |
install_location/resources/dse/conf/dse.yaml |
tarボール・インストール |
install_location/resources/dse/conf/dse.yaml |
DSEFSの制限事項
DSEFSを構成および調整する場合、以下の制限事項を確認してください。以下の機能はサポートされていません。
手順
- 必須:
メタデータとデータ・ブロックのレプリケーションを構成します。
ノード障害時のデータ喪失を防止するためにレプリケーション係数を適切に設定する必要があります。レプリケーション係数は、メタデータとデータ・ブロックの両方について設定する必要があります。
-
グローバル:Cassandraデータベースに格納されているdsefsキースペースでのメタデータのレプリケーションを設定します。
たとえば、CQLステートメントを使用して、NetworkTopologyStrategyを使用するAnalyticsデータ・センターについてレプリケーション係数3を構成します。
ALTER KEYSPACE dsefs WITH replication = {'class':'NetworkTopologyStrategy', 'Analytics' :'3'};
-
ローカル:データ・ブロックが格納されているDSEFSファイルまたはディレクトリーごとにレプリケーションを設定します。
たとえば、以下のコマンド・ラインを使用します。
Installer-Servicesおよびパッケージのインストール: sudo dse cassandra-stop
$ sudo dse cassandra options
Installer-No Servicesおよびtarボールのインストール: install_location/bin/dse cassandra-stop
$ install_location/bin/dse cassandra options
レプリケーション係数(RF)が指定されない場合、親ディレクトリーのRFが継承されます。
- オプション:
1つのデータ・センター内で複数のDSEFSファイル・システムを構成します。
-
ファイルで、論理データ・センターごとに個別のDSEFSキースペースを指定します。
たとえば、論理データ・センターDC1およびDC2を持つクラスターの場合、次のようにします。
DC1における各ノード:
dsefs_options:
...
keyspace_name:dsefs1
DC2における各ノード:
dsefs_options:
...
keyspace_name:dsefs2
-
ノードを再起動します。
-
特定のデータ・センター上にのみ存在するようにキースペース・レプリケーションを変更します。
DC1の場合:
ALTER KEYSPACE dsefs1 WITH replication = {'class':‘NetworkTopologyStrategy', ‘DC1’:'3'};
DC2の場合:
ALTER KEYSPACE dsefs2 WITH replication = {'class':‘NetworkTopologyStrategy', ‘DC1’:'3'};
たとえば、複数のデータ・センターを持つクラスターでは、キースペース名のdsefs1およびdsefs2によって各データ・センターの個別のファイル・システムが定義されます。
-
ストリーミング・アプリケーションをバウンスする場合、Kafkaログの構成(特にlog.retention.check.interval.msとpolicies.log.retention.bytes)を確認します。Kafkaログの保持ポリシーは、アプリケーションとコンシューマーのバックアップにかかると予想される時間を処理するのに十分に堅牢です。
たとえば、ログの保持ポリシーが慎重すぎて、ディスク領域を節約するための削除およびロールが非常に頻繁に記録される場合、Kafkaログに現在維持されていないオフセットを参照するチェックポイントから復帰しようとすると、問題が発生する可能性があります。