DSEFSの使用
DSEFSを使用して、データ・レプリケーションを構成し、Kafkaログの保持設定を含むその他の機能を実行するための手順。
dse.yamlファイルの場所は、インストールのタイプによって異なります。
パッケージ・インストールInstaller-Servicesインストール |
/etc/dse/dse.yaml |
tarボール・インストールInstaller-No Servicesインストール |
installation_location/resources/dse/conf/dse.yaml |
DSEFSを複数のデータ・センターにわたって構成することはできません。以下の手順に従い、データ・センターごとに個別のDSEFSインスタンスを作成してください。
DSEFSの制限事項
DSEFSを構成し、調整する場合、以下の制限事項に注意してください。以下の機能はサポートされていません。- 暗号化。
オペレーティング・システムのアクセス制御を使用すると、ローカルのDSEFSデータ・ディレクトリーを保護できます。
- ファイル・システム整合性チェック(
fsck
)とファイル・リペアは、サポートが制限されています。fsck
を実行すると、ノードがクラスターに含まれていなかったためにレプリケートが不十分だったブロックが再レプリケートされます。 - ファイル・リペア。
- 強制バランス調整(ただし、クラスターのバランスは最終的に均衡に達します)。
- チェックサム。
- 自動バックアップ。
- マルチ・データ・センター・レプリケーション。
- シンボリック・リンク(ソフト・リンク、symlink)およびハードリンク。
- スナップショット。
手順
-
メタデータとデータ・ブロックのレプリケーションを構成します。
注: DSEFSのキースペース作成時は、レプリケーション係数を1にしてSimpleStrategyを使用します。クラスターの初回起動後は、適切なRFでNetworkTopologyStrategyを使用するようにキースペースを変更する必要があります。ノード障害時のデータ喪失を防止するために、レプリケーション係数を適切に設定する必要があります。レプリケーション係数は、メタデータとデータ・ブロックの両方について設定する必要があります。データ・ブロックの場合、レプリケーション係数を3に設定すると、ほとんどのユース・ケースに適しています。
- オプション:
各DSEFSファイル・システムをそれぞれのデータ・センター内でレプリケートするように構成します。
たとえば、複数のデータ・センターが存在するクラスターでは、キースペース名
dsefs1
およびdsefs2
によって、各データ・センターの個別のファイル・システムが定義されます。 -
ストリーミング・アプリケーションをバウンスする場合、Kafkaログ構成(特に
log.retention.check.interval.ms
とpolicies.log.retention.bytes
)を確認します。Kafkaログの保持ポリシーが、アプリケーションとコンシューマーのバックアップに予想される時間に十分に対処できることを確認します。たとえば、ログの保持ポリシーが慎重すぎて、ディスク領域を節約するための削除やローリングが頻繁にログに記録される場合、Kafkaログにその時点で維持されていないオフセットを参照するチェックポイントから復元しようとすると問題が発生する可能性があります。