Angel圖算法
[2.0]CommonFriends
計算兩個好友的共同好友數，某種程度上可以刻畫兩個節點之間的緊密程度。
輸入
? 輸入數據路徑：輸入文件所在路徑，無權網絡數據, 數據格式為兩列 srcId(long) | dstId(long), 其中|為分隔符，分隔字段表示空白符或者逗號等。
? 輸入文件類型：格式包括以下兩種：
o csv：csv 文件。
? 輸入數據包含 header 信息。
? 輸入數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
輸出
? 輸出數據路徑：輸出文件所在路徑。
? 輸出數據格式：格式包括以下兩種：
o csv：csv 文件。
? 輸出數據包含 header 信息。
? 輸出數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
參數說明
? src：源節點列。
? dst：目標節點列。
? numPartition：分區數。
資源參數
? drive 節點資源類型：請選擇合適的 drive 節點機型。
? executor 節點資源類型：請選擇合適的 executor 節點機型。
? num-executors：分配計算節點數目，可根據數據量來配置，一般訓練數據量越大，需要的 worker 個數越多。
? spark-conf：spark常用參數配置，如壓縮、序列化、網絡等。
[2.0]HyperAnf
估計網絡的平均半徑。
輸入
? 輸入數據路徑：輸入文件所在路徑，無權網絡數據, 數據格式為兩列 srcId(long) | dstId(long), 其中|為分隔符，分隔字段表示空白符或者逗號等。
? 輸入文件類型：格式包括以下兩種：
o csv：csv 文件。
? 輸入數據包含 header 信息。
? 輸入數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
輸出
? 輸出數據路徑：輸出文件所在路徑。
? 輸出數據格式：格式包括以下兩種：
o csv：csv 文件。
? 輸出數據包含 header 信息。
? 輸出數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
算法結果保存路徑，共兩列，其中第一列為 round 值，第二列為 anf 值，其中round = -1對應的 anf 為最終估計值。
參數說明
? src：源節點列。
? dst：目標節點列。
? numPartition：分區數。
? maxIter：最大迭代次數。
資源參數
? drive 節點資源類型：請選擇合適的 drive 節點機型。
? executor 節點資源類型：請選擇合適的 executor 節點機型。
? num-executors：分配計算節點數目，可根據數據量來配置，一般訓練數據量越大，需要的 worker 個數越多。
? spark-conf：spark 常用參數配置，如壓縮、序列化、網絡等。
[2.0]LPA
LPA（Label Propagation Algorithm）是最簡單的社區發現算法，通過標簽擴散發掘網絡的社區關系。
輸入
? 輸入數據路徑：輸入文件所在路徑。
? 輸入文件類型：格式包括以下兩種：
o csv：csv 文件。
? 輸入數據包含 header 信息。
? 輸入數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
輸出
? 輸出數據路徑：輸出文件所在路徑。
? 輸出數據格式：格式包括以下兩種：
o csv：csv 文件。
? 輸出數據包含 header 信息。
? 輸出數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
算法結果保存路徑，共兩列，其中第一列為節點 ID，第二列為節點對應的社區 ID。社區 ID 相同表示屬于同一個社區。
參數說明
? src：源節點列。
? dst：目標節點列。
? numPartition：分區數。
資源參數
? num-executors：使用多少個 Spark 節點。
? driver-memory：Spark driver 的內存大小。
? executor-cores：每個 Spark 節點使用多少個 core。
? executor-memory：每個 Spark 節點使用的內存大小。
? spark-conf：Spark 的其他參數。 由于權限原因，需要用戶額外提供 ugi 參數 spark.hadoop.hadoop.job.ugi=用戶名：密碼。
[2.0]EffectiveSize
EffectiveSize 是由結構空洞理論得到的網絡度量指標，是 ego-network 中節點的重要衡量指標。
輸入
? 輸入數據路徑：輸入文件所在路徑。
? 輸入文件類型：格式包括以下兩種：
o csv：csv 文件。
? 輸入數據包含 header 信息。
? 輸入數據分割符：主要包括逗號、空格、分號、星號等分割符。
o text：本文件。
o parquet：列式存儲格式 parquet。
輸出
? 輸出數據路徑：輸出文件所在路徑。
? 輸出數據格式：格式包括以下兩種：
o csv：csv 文件。
? 輸出數據包含 header 信息
? 輸出數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
算法結果保存路徑，共三列，其中第一列為節點 ID，第二列為 effectiveSize 值，第三列為 redundancyCol 值。
參數說明
? src：源節點列。
? dst：目標節點列。
? numPartition：分區數。
資源參數
? num-executors：使用多少個 Spark 節點。
? driver-memory：Spark driver 的內存大小。
? executor-cores：每個 Spark 節點使用多少個 core。
? executor-memory：每個 Spark 節點使用的內存大小。
? spark-conf：Spark 的其他參數。由于權限原因，需要用戶額外提供 ugi 參數 spark.hadoop.hadoop.job.ugi=用戶名：密碼。
[2.0]PageRank
PageRank 是著名的節點排序算法，由 Google 發表。
輸入
? 輸入數據路徑：輸入文件所在路徑。
? 輸入文件類型：格式包括以下兩種：
o csv：csv 文件。
? 輸入數據包含 header 信息。
? 輸入數據分割符：主要包括逗號、空格、分號、星號等分割符。
o text：本文件。
o parquet：列式存儲格式 parquet。
輸出
? 輸出數據路徑：輸出文件所在路徑。
? 輸出數據格式：格式包括以下兩種：
o csv：csv 文件。
? 輸出數據包含 header 信息
? 輸出數據分割符：主要包括逗號、空格、分號、星號等分割符。
o parquet：列式存儲格式 parquet。
算法結果保存路徑，共三列，其中第一列為節點 ID，第二列為 effectiveSize 值，第三列為 redundancyCol 值。
參數說明
? src：源節點列。
? dst：目標節點列。
? numPartition：分區數。
? maxIter：最大迭代次數。
? tol：最小容忍誤差，當誤差小于該值時，算法迭代提早結束。
資源參數
? num-executors：使用多少個 Spark 節點。
? driver-memory：Spark driver 的內存大小。
? executor-cores：每個 Spark 節點使用多少個 core。
? executor-memory：每個 Spark 節點使用的內存大小。
? spark-conf：Spark 的其他參數。由于權限原因，需要用戶額外提供 ugi 參數 spark.hadoop.hadoop.job.ugi=用戶名：密碼。

總結

以上是生活随笔為你收集整理的Angel图算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。