Spark SQL可以自動捕獲JSON數據集的模式，并將其作為DataFrame加載。 可以使用SQLContext.read.json（）對String或JSON文件的RDD進行此轉換。Spark SQL提供了一個選項，用于查詢JSON數據以及自動捕獲用于讀取和寫入數據的JSON模式。 Spark SQL了解JSON數據中的嵌套字段，并允許用戶直接訪問這些字段，而無需任何顯式轉換。例讓我們考慮一個名為employee.json的文本文件中的員工記錄示例。 使用以下命令創建DataFrame（df）。使用以下內容讀取一個名為employee.json的JSON文檔，并根據JSON文檔中的模式生成一個表。

employee.json - 將此文件放在當前scala>指針所在的目錄中。

讓我們對給定的數據執行一些數據幀操作。DataFrame操作
DataFrame為結構化數據操作提供了一個領域特定的語言。 這里我們包括使用DataFrames的結構化數據處理的一些基本示例。
按照以下步驟執行DataFrame操作 - 閱讀JSON文檔
首先，我們必須讀取JSON文檔。 基于此，生成名為dfs的DataFrame。
使用以下命令讀取名為employee.json的JSON文檔，其中包含字段 - id，name和age。 它創建一個名為dfs的DataFrame。

輸出： 字段名稱自動從employee.json中獲取。

使用printSchema方法

如果要查看DataFrame的Structure（Schema），請使用以下命令。

輸出

顯示數據

如果要在DataFrame中顯示數據，請使用以下命令。

輸出：您可以以表格格式查看員工數據

然后我們可以運行不同的SQL語句。用戶可以以最小的努力將數據遷移到JSON格式，而不管數據源的來源。

總結

以上是生活随笔為你收集整理的json文件示例_Spark SQL - JSON数据集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。