DSE Graph Loaderの構成

DSE Graph Loaderファイルの構成。

次のトピックで詳しく説明している方法のいずれかを使用してデータを読み込む前に、マッピング・スクリプトに含める構成項目を決定します。

構成設定は、コマンドラインで-read_threadsのような「-」コマンドを使用して適用するか、設定をマッピング・スクリプトに含めることができます。すべての構成設定は、セキュリティ・オプションを含む「DSE Graph Loaderリファレンス」に示されています。

手順

  • dryrun設定では、マッピング・スクリプトを使用してDSE Graph Loaderを実行し、結果を出力しますが、読み込みプロセスは実行されません。これは、マッピング・スクリプトまたはgraphloaderコマンドの潜在的なエラーを検出するのに役立ちます。
    config dryrun: true
    このコマンドは、マッピング・スクリプトをチェックした後そのままにしておくことがないため、コマンドライン・オプションとして使用するともっと役立つ場合があります。
    graphloader map.groovy -graph food -address localhost -dryrun true
    注: この構成オプションは、スキーマを検出し、変更を実行せずに欠落しているスキーマを示唆してくれます。DSE 6.0では、このオプションは廃止予定であり、今後のリリースで削除される可能性があります。
  • preparation設定は、有効性のチェック・メカニズムです。preparationがtrueの場合、データのサンプルはスキーマが有効かどうかについて分析されます。この設定はcreate_schemaと共に使用されます。create_schemapreparationが両方ともtrueの場合、スキーマと比較してデータが分析され、見つからない場合は新しいスキーマが作成されます。
    /* CONFIGURATION                                   */
    /* Configures the data loader to analyze the schema */
    config preparation: true
    すべての組み合わせについては、下の表を参照してください。
    注: この構成オプションは、create_schemaと共に使用した場合に、スキーマを検証して作成します。デフォルトではfalseに設定されます。このオプションはDSE 6.0で廃止予定です。今後のリリースでは、削除される可能性があります。
  • この例ではcreate_schemaをtrueに設定しているため、スキーマはデータから作成されます。create_schemaをtrueに設定すると、新しいデータを入力して、そのデータに必要なスキーマについてのフィードバックを得る良い方法になります。これは実稼働データの読み込みにはお勧めしません。
    /* CONFIGURATION                                   */
    /* Configures the data loader to create the schema */
    config create_schema: true
    注: 正しいデータ型を使用してインデックスが作成されるように、データを読み込む前にスキーマを作成することを強くお勧めします。テストを行う目的にのみ、create_schemaをtrueに設定することをお勧めします。DSE 6.0では、この構成オプションは廃止予定であり、今後のリリースで削除されます。
    preparationcreate_schemaは、一緒に検討する必要があります。
    preparation create_schema 結果
    true true データが分析され、スキーマが欠落していると分かるとスキーマが作成されます。読み込みは成功します。
    true false データが分析され、スキーマが欠落していると分かってもスキーマは作成されません。読み込みは失敗します。読み込まれた頂点のインデックスを含め、スキーマが以前に手動で読み込まれている場合、読み込みは成功します。
    false true データは分析されず、スキーマが欠落していてもスキーマは作成されません。読み込みは失敗します。
    false false データは分析されず、スキーマが欠落していると分かってもスキーマは作成されません。読み込みは失敗します。
  • load_new設定は、新しいグラフなどの読み込み処理の開始時に、グラフに頂点レコードがまだ存在しない場合に使用されます。load_newを構成すると、読み込み処理が大幅に高速化されます。ただし、頂点レコードが実際に新しいこと、または重複した頂点をグラフに作成できることをユーザーが保証することが重要です。同じスクリプトで作成されたエッジは、外向き頂点outVと内向き頂点inVに新しく作成された頂点を使用します。
    config load_new: true
    警告: load_newfalseに設定されていて、読み込まれているデータに、既にグラフに存在する頂点が含まれている場合は、重複した頂点が作成されます。
  • 頂点またはエッジの読み込みに使用するスレッド数を設定するには、それぞれload_vertex_threadsload_edge_threadsを使用します。デフォルトは0で、load_vertex_threadsにはコアの数を2で割った値を設定し、load_edge_threadsにはデータ・センターのノードの数に6を掛けた値を設定します。
    config load_vertex_threads: 3 load_edge_threads: 0
  • 複数の構成設定をまとめて一覧表示できます。
    config load_new: true, dryrun: true, schema_output: '/tmp/loader_output.txt'

次のタスク

データを読み込みます。