最近引起我注意的一個(gè)有趣且充滿希望的開源項(xiàng)目是Spline ，它是由Absa維護(hù)的Apache Spark的數(shù)據(jù)沿襲跟蹤和可視化工具。 該項(xiàng)目由兩部分組成：一個(gè)在驅(qū)動(dòng)程序上工作的Scala庫，該驅(qū)動(dòng)程序通過分析Spark執(zhí)行計(jì)劃來捕獲數(shù)據(jù)沿襲，并提供一個(gè)Web應(yīng)用程序以提供一個(gè)可視化它們的UI。

Spline支持MongoDB和HDFS作為JSON格式的數(shù)據(jù)沿襲的存儲(chǔ)系統(tǒng)。 在這篇文章中，我指的是MongoDB。

您可以通過Spark外殼開始使用Spline。 只需將必需的依賴項(xiàng)添加到shell類路徑中，如下所示（參考此項(xiàng)目的最新0.3.5版本）：

spark-shell --packages "za.co.absa.spline:spline-core:0.3.5,za.co.absa.spline:spline-persistence-mongo:0.3.5,za.co.absa.spline:spline-core-spark-adapter-2.3:0.3.5"

在Ubuntu和其他Linux發(fā)行版上使用上述命令運(yùn)行Spark shell，是否應(yīng)該出現(xiàn)有關(guān)下載Joda Time庫（Spline組件之一的傳遞依賴項(xiàng)）的問題，請(qǐng)刪除.ivy1和.m2隱藏子目錄執(zhí)行了spark-shell命令的目錄，然后重新運(yùn)行它。

假設(shè)您已啟動(dòng)并運(yùn)行Mongo服務(wù)器，并且已經(jīng)為Spline創(chuàng)建了一個(gè)空數(shù)據(jù)庫，那么在Spark Shell中需要做的第一件事是指定要使用的持久性工廠類，然后指定連接字符串和數(shù)據(jù)庫名稱：

System.setProperty("spline.persistence.factory", "za.co.absa.spline.persistence.mongo.MongoPersistenceFactory")
System.setProperty("spline.mongodb.url", "mongodb://<username>:<password>@<server_name_or_ip>:<port>")
System.setProperty("spline.mongodb.name", "<database_name>")

現(xiàn)在，您可以啟用樣條線數(shù)據(jù)沿襲跟蹤：

import za.co.absa.spline.core.SparkLineageInitializer._
spark.enableLineageTracking()

然后開始做一些涉及數(shù)據(jù)的事情：

val employeesJson =
spark.read.json("/home/guglielmo/spark-2.3.2-bin-hadoop2.7/examples/src/main/resources/employees.json")

import spark.implicits._val employeeNames = employeesJson.select(employeesJson("name")) employeeNames.write.parquet("/home/guglielmo/spline/example/employee_names")

是否應(yīng)該發(fā)生以下異常：

com.mongodb.MongoCommandException: Command failed with error 9: 'The 'cursor' option is required, except for aggregate with the explain argument' on server localhost:27017. The full response is { "ok" : 0.0, "errmsg" : "The 'cursor' option is required, except for aggregate with the explain argument", "code" : 9, "codeName" : "FailedToParse" }

那么您必須將MongoDB Java驅(qū)動(dòng)程序依賴項(xiàng)更新到任何3.6+版本（可以通過在運(yùn)行Windows Server 2003時(shí)簡(jiǎn)單地將其添加到軟件包列表中來完成）
spark-shell命令）。

啟動(dòng)Spline Web應(yīng)用程序：

java -jar spline-web-0.3.5-exec-war.jar -Dspline.mongodb.url=mongodb://<username>:<password>@<server_name_or_ip>:<port> -Dspline.mongodb.name=<database_name>?

您可以在Web UI中查看捕獲的數(shù)據(jù)沿襲（默認(rèn)監(jiān)聽端口為8080）：

這只是一個(gè)開始。 在本系列的第2部分中，我們將深入探討Spline。

翻譯自: https://www.javacodegeeks.com/2018/12/spline-data-trackervisualization-spark.html

總結(jié)

以上是生活随笔為你收集整理的探索适用于Apache Spark的Spline Data Tracker和可视化工具（第1部分）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。