快速探索圖數據與圖計算

????? 圖計算是研究客觀世界當中的任何事物和事物之間的關系，對其進行完整的刻劃、計算和分析的一門技術。圖計算依賴底于底層圖數據模型，在圖數據模型基礎上計算分析Spark是一個非常流行且成熟穩定的計算引擎。下面文章從ONgDB與Spark的集成開始【使用TensorFlow等深度學習框架分析圖數據的方案不在本文的討論范圍，僅從圖數據庫領域探討與Spark的集成是一個比較流行的方案，可以做一些基礎圖數據的計算與預訓練提交給TensorFlow】，介紹一下具體集成實施方案。下載案例項目源代碼可以幫助新手快速開始探索，不必踩坑。大致流程是先在Spark集群集成圖數據庫插件，然后使用具體API構建圖數據分析代碼。

在Spark集群安裝neo4j-spark插件

• 下載組件

https://github.com/ongdb-contrib/neo4j-spark-connector/releases/tag/2.4.1-M1

• 下載組件放在spark安裝目錄的jars文件夾

E:\software\ongdb-spark\spark-2.4.0-bin-hadoop2.7\jars

基礎組件依賴信息

• 版本信息

Spark 2.4.0 http://archive.apache.org/dist/spark/spark-2.4.0/
ONgDB 3.5.x
Neo4j-Java-Driver 1.7.5
Scala 2.11
JDK 1.8
hadoop-2.7.7
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
neo4j-spark-connector-full-2.4.1-M1 https://github.com/neo4j-contrib/neo4j-spark-connector

• 下載的安裝包

hadoop-2.7.7
spark-2.4.0-bin-hadoop2.7
winutils
neo4j-spark-connector-full-2.4.1-M1 【把jar包放到spark/jars文件夾里】
scala-2.11.12

創建測試數據

UNWIND range(1,100) as id
CREATE (p:Person {id:id}) WITH collect(p) as people
UNWIND people as p1
UNWIND range(1,10) as friend
WITH p1, people[(p1.id + friend) % size(people)] as p2
CREATE (p1)-[:KNOWS {years: abs(p2.id - p2.id)}]->(p2)
FOREACH (x in range(1,1000000) | CREATE (:Person {name:"name"+x, age: x%100}));
UNWIND range(1,1000000) as x
MATCH (n),(m) WHERE id(n) = x AND id(m)=toInt(rand()*1000000)
CREATE (n)-[:KNOWS]->(m);

備注

• 案例項目【為了避免踩坑下面這個Java-Scala混編案例項目可以參考一下】

https://github.com/ongdb-contrib/ongdb-spark-java-scala-example

下載依賴包如果出現問題請檢查下面網址是否可以正常下載Spark相關的JAR包

http://dl.bintray.com/spark-packages/maven

• 案例項目截圖【使用前在本地啟動Spark】?

• 相關組件安裝以及其它參考資料請閱讀原文

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的图数据库_ONgDB图数据库与Spark的集成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。