文章目錄

• 0 項目說明
• 1 項目說明
• 2 系統功能
• 3 系統架構
• 4 效果展示
• 5 論文概覽

---

0 項目說明

基于Spark圖計算的社會網絡分析系統的設計和實現-頂點分析

提示：適合用于課程設計或畢業設計，工作量達標，源碼開放

項目分享：

https://gitee.com/asoonis/feed-neo

---

1 項目說明

隨著 SNS（ Social Networking Sites, 社交網站）如 Renren、 Facebook 等的快速發展，SNA（Social Network Analysis，社會網絡分析）逐漸成為研究的重點。現代 SN（Social Network，社會網絡）往往都是幾百萬甚至上千萬的超大規模數據集，因此如何處理大規模的社會網絡數據集成為社會網絡分析面臨的一個較為嚴峻的挑戰。

目前面向海量數據的社會網絡分析工具主要基于Hadoop MapReduce設計，如X-RIME。新興的Spark擁有Hadoop MapReduce所具有的優點，但不同于MapReduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的算法。典型的社交網絡模型由頂點和邊組成，邊的屬性依賴于頂點的屬性，因此，頂點分析是社會網絡分析的基礎。

本文在Spark及圖計算引擎GraphX的基礎上，設計并實現一套用于頂點分析的社交網絡分析系統，為使用Spark進行大規模社交網絡的頂點分析提供具體接口，包括社交網絡的圖模型構建、頂點重要度估值、頂點間路徑的計算、頂點分組等接口，并對計算結果進行了一定程度上的可視化展現。主要工作包括兩個方面：第一是構建圖和數據可視化的實現；第二是具體的頂點分析接口的實現。

2 系統功能

整個系統分為三大功能塊，分別是：圖構建模塊，可視化模塊和頂點分析模塊。在頂點分析模塊中，用戶可以進行頂點重要程度分析、頂點分組（聚類）、頂點鄰居計算、頂點到頂點路徑計算等多角度的分析。

3 系統架構

首先，由于現實的數據往往不是直接以圖形式呈現的，需要進行數據的清洗、提取，并轉換為能為GraphX圖計算引擎操作的數據，因此有必要在大規模圖數據挖掘平臺中包含非圖數據的計算處理能力；其次，一個平臺能夠完成對圖數據和非圖數據的挖掘任務，有助于節約集群資源，簡化平臺管理；最后，采用兩種并行計算框架分別完成圖數據計算和非圖數據計算需要開發人員了解兩種程序的設計模式，影響系統的二次開發能力。 因此，本文提出采用Spark并行計算框架作為系統的非圖數據處理引擎，采用 Spark的圖計算接口GraphX作為系統的圖數據計算引擎，解決上述問題。

系統整體架構包含：提供數據導入、預處理的Spark平臺層，提供圖計算接口的圖計算引擎層，提供個性化圖數據分析能力的算子層，提供分析結果圖形化展示的可視化層。

系統的一個重要可拓展性在于用戶可以根據自己的新需求往算子層添加自定義的算子來滿足自己的分析需求。

4 效果展示

5 論文概覽

項目分享：

https://gitee.com/asoonis/feed-neo

總結

以上是生活随笔為你收集整理的计算机毕设项目 Spark图计算的社会网络分析系统-顶点分析（源码+论文）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。