DSE Graph Loaderの構成
DSE Graph Loaderファイルの構成。
次のトピックで詳しく説明している方法のいずれかを使用してデータを読み込む前に、マッピング・スクリプトに含める構成項目を決定します。
構成設定は、コマンドラインで-read_threads
のような「-」コマンドを使用して適用するか、設定をマッピング・スクリプトに含めることができます。すべての構成設定は、セキュリティ・オプションを含む「DSE Graph Loaderリファレンス」に示されています。
手順
-
dryrun
設定では、マッピング・スクリプトを使用してDSE Graph Loaderを実行し、結果を出力しますが、読み込みプロセスは実行されません。これは、マッピング・スクリプトまたはgraphloaderコマンドの潜在的なエラーを検出するのに役立ちます。
このコマンドは、マッピング・スクリプトをチェックした後そのままにしておくことがないため、コマンドライン・オプションとして使用するともっと役立つ場合があります。config dryrun: true
graphloader map.groovy -graph food -address localhost -dryrun true
注: この構成オプションは、スキーマを検出し、変更を実行せずに欠落しているスキーマを示唆してくれます。DSE 6.0では、このオプションは廃止予定であり、今後のリリースで削除される可能性があります。 -
preparation
設定は、有効性のチェック・メカニズムです。preparation
がtrueの場合、データのサンプルはスキーマが有効かどうかについて分析されます。この設定はcreate_schema
と共に使用されます。create_schema
とpreparation
が両方ともtrueの場合、スキーマと比較してデータが分析され、見つからない場合は新しいスキーマが作成されます。
すべての組み合わせについては、下の表を参照してください。/* CONFIGURATION */ /* Configures the data loader to analyze the schema */ config preparation: true
注: この構成オプションは、create_schema
と共に使用した場合に、スキーマを検証して作成します。デフォルトではfalse
に設定されます。このオプションはDSE 6.0で廃止予定です。今後のリリースでは、削除される可能性があります。 -
この例では
create_schema
をtrueに設定しているため、スキーマはデータから作成されます。create_schema
をtrueに設定すると、新しいデータを入力して、そのデータに必要なスキーマについてのフィードバックを得る良い方法になります。これは実稼働データの読み込みにはお勧めしません。/* CONFIGURATION */ /* Configures the data loader to create the schema */ config create_schema: true
注: 正しいデータ型を使用してインデックスが作成されるように、データを読み込む前にスキーマを作成することを強くお勧めします。テストを行う目的にのみ、create_schema
をtrueに設定することをお勧めします。DSE 6.0では、この構成オプションは廃止予定であり、今後のリリースで削除されます。preparation
とcreate_schema
は、一緒に検討する必要があります。preparation create_schema 結果 true true データが分析され、スキーマが欠落していると分かるとスキーマが作成されます。読み込みは成功します。 true false データが分析され、スキーマが欠落していると分かってもスキーマは作成されません。読み込みは失敗します。読み込まれた頂点のインデックスを含め、スキーマが以前に手動で読み込まれている場合、読み込みは成功します。 false true データは分析されず、スキーマが欠落していてもスキーマは作成されません。読み込みは失敗します。 false false データは分析されず、スキーマが欠落していると分かってもスキーマは作成されません。読み込みは失敗します。 -
load_new
設定は、新しいグラフなどの読み込み処理の開始時に、グラフに頂点レコードがまだ存在しない場合に使用されます。load_new
を構成すると、読み込み処理が大幅に高速化されます。ただし、頂点レコードが実際に新しいこと、または重複した頂点をグラフに作成できることをユーザーが保証することが重要です。同じスクリプトで作成されたエッジは、外向き頂点outV
と内向き頂点inV
に新しく作成された頂点を使用します。config load_new: true
警告:load_new
がfalse
に設定されていて、読み込まれているデータに、既にグラフに存在する頂点が含まれている場合は、重複した頂点が作成されます。 -
頂点またはエッジの読み込みに使用するスレッド数を設定するには、それぞれ
load_vertex_threads
とload_edge_threads
を使用します。デフォルトは0で、load_vertex_threads
にはコアの数を2で割った値を設定し、load_edge_threads
にはデータ・センターのノードの数に6を掛けた値を設定します。config load_vertex_threads: 3 load_edge_threads: 0
-
複数の構成設定をまとめて一覧表示できます。
config load_new: true, dryrun: true, schema_output: '/tmp/loader_output.txt'