Spark SQL允許大家在Python、Java以及Scala中使用數據幀;利用多種結構化格式讀取并寫入數據;通過SQL進行大數據查詢。

Spark?SQL屬于Spark用于處理結構化與半結構化數據的接口。結構化數據是指那些擁有一定模式的數據，包括JSON、Hive Tables以及Parquet。模式意味著每條記錄都擁有一套已知字段組。半結構化數據則代表著模式與數據之間不存在明確的區分。

Spark SQL提供三種主要功能以使用結構化及半結構化數據：

1. 在Python、Java與Scala中提供DataFrame抽象以簡化結構化數據集的處理方式。DataFrame類似于關系數據庫中的表。

2. 它能夠對多種結構化格式進行數據讀取及寫入(例如JSON、Hive Tables以及Parquet)。

3. 允許大家利用SQL進行數據查詢，適用范圍包括Spark程序之內以及通過標準數據庫連接器(JDBC/ODBC)接入Spark SQL的外部工具，例如Tableau等商務智能工具。

鏈接

將Spark SQL納入應用，需要提供額外的庫關聯性。Spark SQL在構建中可選擇支持或不支持Apache Hive。在以二進制方式下載Spark時，其默認構建為Hive支持模式。

在應用中使用Spark SQL

Spark SQL最適合用于Spark應用之內。通過這種方式，我們能夠輕松將數據加載與數據查詢進行結合，同時將其與Python、Java或者Scala協作使用。

基本查詢示例

要查詢一套表，我們需要在HiveContext或者SQLContext上調用sql()方法。

Scala代碼示例：從JSON加載客戶數據：

val customers = sqlContext.jsonFile("customers.json") customers.registerTempTable("customers") val firstCityState = sqlContext.sql("SELECT first_name, address.city, address.state FROM customers LIMIT 10")

DataFrames

DataFrames類似于關系數據庫中的表。DataFrame事實上屬于Row對象的一條RDD。一個DataFrame還能夠識別出每一行中的模式。由于能夠識別數據模式，DataFrames的數據存儲效率比原生RDD更高。

緩存

Spark SQL中的緩存更為高效，這是因為DataFrame能夠識別各列的類型。

數據載入及保存

Spark SQL能夠原生支持多種結構化數據源，包括Hive表、JSON以及Parquet文件。

另外，Spark SQL還擁有用于集成的DataSource API。DataSource API所能夠實現的集成對象包括Avro、Apache HBase、Elasticsearch以及Canssandra等等。完整的支持列表可參閱http://spark-packages.org。

JDBC連接

Spark SQL提供JDBC連接，其能夠用于同Tableau等商務智能工具的對接。

用戶定義功能(簡稱UDF)

Spark SQL支持在Python、Java以及Scala當中注冊用戶定義功能，從而在SQL內部進行調用。這一能力可為SQL帶來更多先進功能，幫助用戶無需編碼即可加以使用。

Spark SQL性能

Spark SQL的額外類型信息使其更為高效，且能夠提供遠超關系數據庫的SQL性能。它還簡化了各類條件型聚合操作，包括計算多個列的數值總和。

性能調節選項

Spark SQL當中提供多種不同性能調節選項，例如codegen、內存設置、批量大小與壓縮編碼等等。

總結

在多種數據處理流程當中，Spark SQL與Python、Scala或者Java代碼相結合都能夠帶來便捷而強大的實際效果。另外，Spark SQL亦能夠利用模式識別能力充分發揮該引擎的性能優勢。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python中spark有什么功能_Spark SQL是什么，提供的主要功能有哪三种？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。