テキスト・データの読み込み

DSE Graph Loaderを使用して区切りテキスト・データを読み込む方法。

区切りテキスト・データのデータ・マッピング・スクリプトを説明とともに示します。完全なスクリプトは、ページの最後にあります。

手順

  • 必要に応じて、マッピング・スクリプトに構成を追加します。
  • 読み込み対象のデータのサンプルは以下のようになります。
    SAMPLE INPUT
    // author.datファイル用: 
    Julia Child|F
    // book.datファイル用:
    Simca's Cuisine:100 Classic French Recipes for Every Occasion|1972|0-394-40152-2
    // authorBook.datファイル用: 
    Simca's Cuisine:100 Classic French Recipes for Every Occasion|Simone Beck
  • データ入力ファイルを指定します。変数inputfiledirは、入力ファイルのディレクトリー名を指定します。識別された各ファイルは、読み込みに使用されます。
    // DATA INPUT
    // データ入力ソース(コマンドライン引数で指定可能なファイル)を定義します
    // inputfiledirは入力ファイルのディレクトリーです
    
    inputfiledir = '/tmp/TEXT/'
    authorInput = File.text(inputfiledir + "author.dat").delimiter("|").header('name', 'gender')
    bookInput = File.text(inputfiledir + "book.dat").delimiter("|").header('name', 'year', 'ISBN')
    authorBookInput = File.text(inputfiledir + "authorBook.dat").delimiter("|").header('bname', 'aname')

    プロパティ・キーnameは、authorBookファイルの頂点ラベルauthorおよびbookの両方に使用されるため、変数anameおよびbnameは著者名および書名にそれぞれ使用されます。これらの変数は、author頂点とbook頂点間の辺を作成するためのマッピング・ロジックで使用されます。

  • 各行で、ファイルはtextファイルとして指定され、ファイル名が指定され、デリミターが設定されます。読み込まれるフィールドを識別するには、ヘッダーを指定する必要があります。マップauthorInputが作成され、データの処理に使用されます。このマップは、transformsを使用して読み込む前に操作できます。
    authorInput = File.text(inputfiledir + "author.dat").delimiter("|").header('name', 'gender')
    
  • マッピング・スクリプトの本文を作成します。マッピング・スクリプトのこの部分は、ファイル形式にかかわらず同じです。
  • ドライ・ランとしてテキスト読み込みにDSE Graph Loaderを実行するには、以下のコマンドを使用します。
    graphloader authorBookMappingTEXT.groovy -graph testTEXT -address localhost -dryrun true

    テスト目的の場合、graphloaderの実行前に、指定されたグラフが存在する必要はありません。ただし、実稼働用途では、graphloaderを使用する前にグラフとスキーマを作成する必要があります。

  • 完全な読み込みスクリプトは以下のとおりです。
    /** SAMPLE INPUT
    author:Julia Child|F
    book :Simca's Cuisine:100 Classic French Recipes for Every Occasion|1972|0-394-40152-2
    authorBook:Simca's Cuisine:100 Classic French Recipes for Every Occasion|Simone Beck
     */
    
    // CONFIGURATION
    // スキーマを作成するようにデータ・ローダーを構成します
    config create_schema:true, load_new:true, load_threads: 3
    
    // DATA INPUT
    // データ入力ソース(コマンドライン引数で指定可能なファイル)を定義します
    // inputfiledirはコマンドラインで指定された入力ファイルのディレクトリーです
    // as the "-filename" option
    
    inputfiledir = '/tmp/CSV/'
    authorInput = File.text(inputfiledir + "author.dat").delimiter("|").header('name', 'gender')
    bookInput = File.text(inputfiledir + "book.dat").delimiter("|").header('name', 'year', 'ISBN')
    authorBookInput = File.text(inputfiledir + "authorBook.dat").delimiter("|").header('bname', 'aname')
    
    //(定義済みインラインとして)いずれかのマッパーを使用して読み込むデータ・ソースを指定します
      
    load(authorInput).asVertices {
    label "author"
    key "name"
    }
    
    load(bookInput).asVertices {
    label "book"
    key "name"
    }
    
    load(authorBookInput).asEdges {
    label "authored"
    outV "aname", {
    label "author"
    key "name"
        }
    inV "bname", {
    label "book"
    key "name"
        }
    }