グラフ分析クエリーでのDseGraphFrameフレームワークの使用

DseGraphFrameクエリーを使用する状況とDSE Graph OLAPクエリーを使用する状況の選択

DSE Graph OLAPのGremlinに対する対応範囲はDseGraphFrame APIよりも広範です。詳細なクエリーを行う場合はGraph OLAPが最適ですが、単純なフィルター処理やカウントの場合はDseGraphFrame APIを使用した方がはるかに速く処理できます。

DseGraphFrameの概要

DseGraphFrameは、グラフを2つの仮想テーブル（頂点とエッジのDataFrame）で表現します。V()メソッドは、グラフの頂点DataFrameを返します。E()メソッドは、グラフのエッジDataFrameを返します。

val g = spark.dseGraph("test")
g.V.show
g.E.show

DseGraphFrameでは、GraphFrame互換の形式が使用されます。この形式では、頂点DataFrameにidカラムを1つだけ指定し、エッジDataFrameにハードコード化されたsrcカラムとdstカラムを指定する必要があります。DSE Graphでは、ユーザーが任意のカラム・セットを頂点IDとして定義でき、GraphFrameにはラベルの概念がないため、DseGraphFrameは、DSE Graph id全体を1つのidカラムにシリアライズします。ラベルはidの一部として、また~labelプロパティ・カラムとして表されます。

DseGraphFrameの使用

// load a graph
val graph = spark.dseGraph("my_graph")
//use the TinkerPop API 
graph.V().has("edge", gt(100)).count().next()
// use the GraphFrame API 
graph.find("(a)-[e]->(b); (b)-[e2]->(c)").filter("e2.`~label` = 'includedIn'").select("a.name", "e.`~label`", "b.name", "e2.`~label`", "c.name").distinct.show
// Use both the TinkerPop and GraphFrame APIs:
graph.V().out().hasLabel("label").df.show

Javaの場合は、gf()メソッドを使用するか、DseGraphFrameBuilder.dseGraph(String graphName, GraphFrame gf)メソッドを使用してGraphFrameインスタンスを返します。

//load a graph
GraphFrame graph = DseGraphFrameBuilder.dseGraph("my_graph", spark);
//use the TinkerPop API 
graph.V().has("edge", gt(100)).count().next()
// use the GraphFrame API 
graph.find("(a)-[e]->(b); (b)-[e2]->(c)").filter("e2.label = 'includedIn'").select("a.name", "e.`~label`", "b.name", "e2.`~label`", "c.name").distinct().show()
// Use both the TinkerPop and GraphFrame APIs:
graph.V().out().hasLabel("label").df().show()

g.cache()

persist()メソッドを使用するには、パラメーターとしてSpark保持レベルのいずれかを指定する必要があります。

g.persist(MEMORY_AND_DISK_SER)