python使用spark-sql读取数据并可视化_使用Spark SQL读取HBase上的数据
近日,由華為團隊開發的
1、基于部分評估技術,該項目具有強大的數據剪枝和智能掃描特點;
2、支持自定義過濾規則、協處理器等以便支持超低延遲的處理;
3、支持SQL、DataFrame;
4、支持更多的SQL(比如二級索引、布隆過濾、主鍵、批量加載以及更新);
5、支持和其他數據源進行整合;
6、支持Python/Java/Scala;
7、支持
引入依賴
1、如果你使用的是spark-shell,可以如下操作: > $SPARK_HOME/bin/spark-shell --packages Huawei-Spark:Spark-SQL-on-HBase:1.0.0
2、如果你使用SBT的話,在你們build.sbt文件加入一下依賴: spDependencies += "Huawei-Spark/Spark-SQL-on-HBase:1.0.0"
或者 resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven"
libraryDependencies += "Huawei-Spark" % "Spark-SQL-on-HBase" % "1.0.0"
3、如果使用的是Maven,請在pom.xml文件加入一下依賴:
Huawei-Spark
Spark-SQL-on-HBase
1.0.0
SparkPackagesRepo
http://dl.bintray.com/spark-packages/maven
項目地址以及如何使用
總結
以上是生活随笔為你收集整理的python使用spark-sql读取数据并可视化_使用Spark SQL读取HBase上的数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: c语言与python通信_C和Pytho
- 下一篇: python图书管理系统增删改查_固定资