アーキテクチャー

DataStaxバルク・ローダーのワークフロー・エンジン・アーキテクチャーは、読み込み/アンロード操作を記述します。

DataStaxワークフロー・エンジンは、操作の読み込みとアンロードの編成を受け持つコンポーネントです。その主な機能は以下のとおりです。
  • 構成:ユーザーが指定した設定を収集し、それらをデフォルト値とマージし、読み込み/アンロード操作を実行するように構成します。
  • 接続:DSEとのドライバー接続を処理し、ドライバー特有の設定を管理し、認証およびSSL暗号化をサポートします。
  • 変換:ブーリアン、数値などのデータ型変換、あらゆるもの(通常は、コネクターから発せられる文字列または生バイト)から該当する内部表現(通常は、Java TemporalまたはNumberオブジェクト)への日付変換を処理します。NULLUNSETの値も処理します。
  • マッピング:ドライバーから収集されるメタデータを分析して、該当するINSERTまたはSELECTプリペアド文を推測します。次に、この情報をユーザーが指定したデータ・ソースに関する情報と比較して確認し、使用する束縛変数を推測します。
  • 監視:あらゆる内部コンポーネント(主に、コネクターとバルク・エグゼキューター)のメトリクスを報告します。
  • エラー処理:コネクターとバルク・エグゼキューターからのエラーを処理し、読み取り、解析、書き込みエラーを報告します。これらは、読み込めなかったソースを含んでいる、構成可能な「不良ファイル」に転送されます。
1. 読み込みワークフロー
2. アンロード・ワークフロー