DSE Graph Loaderリファレンス

読み込みプロセスには以下の3つの段階があります。

準備

入力データ全体を読み取ります。この段階で、データがグラフ・スキーマに一致するか、指定されたデータ（有効な場合）に従ってグラフ・スキーマが更新されます。この段階が終了すると、グラフに追加されるデータの量に基づいて統計的な推定値が指定されますが、データは読み込まれません。

-dryrun true

に設定すると、準備段階は終了し、何らかの変化が生じる前に読み込みプロセスが中断されます。出力を検査し、予想と一致していることを確認します。大きなデータセットの場合は、エラーを見つけるためにdry runを実行することが重要です。

頂点の読み込み

第2段階では、入力データ内のすべての頂点を追加または取得し、ローカルでキャッシュして、後続のエッジの読み込み時間を短縮します。

エッジとプロパティの読み込み

すべてのエッジとプロパティを入力データからグラフに追加します。

使用可能なオプションのリストを取得するには、-helpを使用します。

graphloader -help

この例では、読み込みスクリプトmymapscript.groovyを使用して、ファイル/tmp/recipe/all.datのデータをlocalhost上で実行中のグラフtestに読み込みます。データを挿入せずに読み込みをテストするには、dry runを指定します。

graphloader mymapscript.groovy -filename /tmp/recipe/all.dat -graph test -address localhost -dryrun true 

この例では、読み込みスクリプトcsv2Vertex.groovyを使用して、ファイルMyUsers.csvのデータをlocalhost上で実行中のグラフcsvTestに読み込みます。-labelオプションによって、頂点ラベルはファイル名MyUsersではなく、Userになるように指定されます。

graphloader ./scripts/csv2Vertex.groovy -filename MyUsers.csv -graph csvTest -label User -address 127.0.0.1

読み込みスクリプトで構成設定も指定できます。create_schemaをtrueに設定し、load_vertex_threadsを3に設定する読み込みスクリプトの断片を以下に示します。

// CONFIGURATION
// Configures the data loader to create the schema and set load_vertex_threads to 3
config load_new: true, load_vertex_threads: 3

デフォルトでは、graphloaderは、graphloaderが実行されるディレクトリーのファイルloader.logにデバッグ情報を記録します。ログの場所は、-load_failure_logを使用して指定できます。

graphloader mymapscript.groovy -graph test -address localhost -load_failure_log /tmp/dgl.log

情報を別の形で記録するために、log4jを変更した方が良い場合は、構成ファイルを作成して、-load_failure_logと一緒に使用することができます。サンプル構成ファイルは以下のようになります。

# Set root logger level to the designated level and its appenders to F1 and stdout
log4j.rootLogger=INFO, WARN, A1, stdout
#/dev/stdout
# Log INFO messages to A1.  A1 is set to be a ConsoleAppender.
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.Target=System.out
log4j.appender.A1.Threshold=INFO
# A1 uses PatternLayout.
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
# Direct INFO log messages to stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.Threshold=INFO
# stdout uses PatternLayout.
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

また、サンプルのgraphloaderコマンドは、

java -Dlog4j.configuration=file:./lib/log4j.properties -jar graphLoaderJar mymapscript.groovy -graph test -address localhost -load_failure_log /dev/stdout

ログ情報をstdoutに書き込みます。

認証を使用するには、-userと-passwordを使用してgraphloaderを構成します。

graphloader mymapscript.groovy -graph test -address localhost -username myName -password myPasswd

SSL暗号化とKerberosを使用してgraphloaderを構成するには、以下のようにします。

java -Djavax.net.ssl.trustStore=<TRUSTSTORE_PATH> -Djavax.net.ssl.trustStorePassword=<PASSWORD> -Djavax.net.ssl.keyStore=<KEYSTORE_PATH> \
-Djavax.net.ssl.keyStorePassword=<PASSWORD> -jar dse-graph-loader-5.0.3-uberjar.jar -kerberos true -sasl dsename -graph new -address localhost mymapscript.groovy

トラストストアとキーストアのjavaオプションをcassandra-env.shで設定すると、コマンドが簡素化されます。

java -jar dse-graph-loader.jar -kerberos true -sasl dsename -graph new -address localhost mymapscript.groovy

大きなデータ・セットを読み込む場合は、すべての頂点をキャッシュするようにヒープ・スペースを構成します。このコマンドによってJavaが実行され、DSE Graph Loaderのjarファイルが呼び出されます。例を次に示します。

java -Xmx10g -jar dse-graph-loader.jar

頂点のキャッシングは一時ディレクトリーを使用して、読み込み中にデータを格納します。一時ディレクトリーの大きさが足りない場合は、読み込みがブロックされます。一時ディレクトリーの場所を変更するには、実行時変数LOADER_TMP_DIRを使用します。

LOADER_TMP_DIR=/home/user ./graphloader -graph new -address localhost mymapscript.groovy 

graphloaderで指定したデータが正常に読み込まれると、結果の通知が/var/lib/cassandra/system.logに記録されます。

2017-02-09 23:27:22 INFO Reporter:97 - Current total additions: 1155735 vertices 1982536 edges 6583940 properties 0 anonymous