在hive中對于json的數據格式，可以使用get_json_object或json_tuple先解析然后查詢。

也可以直接在hive中創建json格式的表結構，這樣就可以直接查詢，實戰如下(hive-2.3.0版本)：

1. 準備數據源

將以下內容保存為test.txt

{"student":{"name":"king","age":11,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

{"student":{"name":"wang","age":12,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

{"student":{"name":"test","age":13,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

{"student":{"name":"test2","age":14,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

{"student":{"name":"test3","age":15,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

{"student":{"name":"test4","age":16,"sex":"M"},"class":{"book":"語文","level":2,"score":80},"teacher":{"name":"t1","class":"語文"}}

2. 創建hive表

注意serde格式大小寫不能寫錯：?org.apache.hive.hcatalog.data.JsonSerDe

create external table if not exists dw_stg.student(

student map comment "學生信息",

class map comment "課程信息",

teacher map comment "授課老師信息"

)

comment "學生課程信息"

row format serde'org.apache.hive.hcatalog.data.JsonSerDe'

stored as textfile;

3. 上傳數據

將test.txt上傳到剛才創建的student目錄

hdfs dfs -put test.txt /user/hive/warehouse/dw_stg.db/student/

4. 使用hql查詢

查詢所有信息記錄：

查詢字段student信息

查詢字段class信息

查詢學生姓名為test4的所有記錄

取json串中某個值可以使用 student['name'] ，如下：

select

student['name'] as stuName,

class['book'] as cls_book,

class['score'] as cls_score,

teacher['name'] as tech_name

from student

where student['name'] = 'test4';

總體看起來，比使用get_json_object或json_tuple解析方便多了。

mysql中,創建包含json數據類型的表?創建json表時候的注意事項?查詢json字段中某個key的值?

需求描述: 在mysql數據庫中,創建包含json數據類型的表.記錄下,在創建的過程中,需要注意的問題. 操作過程: 1.通過以下的語句,創建包含json數據類型的表 mysql> create ...

jmeter隨筆(1)-在csv中數據為json格式的數據不完整

昨天同事在使用jmeter遇到問題,在csv中數據為json格式的數據,在jmeter中無法完整的取值,小怪我看了下,給出解決辦法,其實很簡單,我們一起看看,看完了記得分享給你的朋友. 問題現象: 1 ...

2020-08-08：有一批氣象觀測站，現需要獲取這些站點的觀測數據，并存儲到 Hive 中。但是氣象局只提供了 api 查詢，每次只能查詢單個觀測點。那么如果能夠方便快速地獲取到所有的觀測點的數據？

福哥答案2020-08-08: 參考答案:A.通過shell 或python 等調用api,結果先暫存本地,最后將本地文件上傳到 Hive 中.B.通過 datax 的 httpReader 和 hd ...

Ajax中XML和JSON格式的優劣比較

剛做完一個小的使用Ajax的項目.整個小項目使用JavaScript做客戶端,使用PHP做服務器端.利用xmlHttpRequest組件作為交互工具,利用XML作為數據傳輸的格式.做完后基本做一個簡單 ...

MVC4中視圖獲取控制器中返回的json格式數據

再開發MVC項目時,有時只需要從控制器中返回一個處理的結果,這時返回Json格式的數據非常的方便,在Controller中,提供了幾種返回類型和方法,如: Content() 返回文本類型的Conte ...

Spring Boot入門系列(十七)整合Mybatis，創建自定義mapper 實現多表關聯查詢！

之前講了Springboot整合Mybatis,介紹了如何自動生成pojo實體類.mapper類和對應的mapper.xml 文件,并實現最基本的增刪改查功能.mybatis 插件自動生成的mappe ...

Mysql里查詢字段為Json格式的數據模糊查詢以及分頁方法

public void datagrid(CustomFormEntity customForm,HttpServletRequest request, HttpServletResponse res ...

hive中創建子表并插入數據過程初始化MR報錯解決方法

本文繼成上一篇通過hive分析nginx日志文章,詳情參考下面鏈接: http://www.cnblogs.com/wcwen1990/p/7066230.html 接著來: 創建業務子表: drop ...

hive中創建表失敗

使用create table命令創建表失敗,如下錯誤信息: hive> create table test(id int,name string,age int,sex string); FAI ...

隨機推薦

sprig里的controller之間的跳轉的問題

學習spring的controller,發現controller之間的跳轉有些地方搞的不是很清楚,如果通過controller的return語句實現跳轉的話,會造成request的丟失:具體怎么回事首 ...

HTML 學習筆記 CSS3 (2D Matrix)

Matrix 矩陣 那么什么是矩陣呢? 矩陣可以理解為方陣,只不過 平時方陣里面站著人 矩陣中是數值: CSS3中的矩陣: css3中的矩陣指的是一個方法,書寫為matrix() 和 matrix3d ...

HDU 1054 Strategic Game(樹形DP)

Strategic Game Time Limit: 20000/10000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) ...

接口list

List接口介紹 java.util.List 接口繼承自 Collection 接口,是單列集合的一個重要分支,習慣性地會將實現了 List 接口的對象稱為List集合. List接口特點: 它是一 ...

Java中final關鍵字概述

使用final修飾過的變量都不可以改變: 1.final修飾變量 恒定不變的屬性,可以用final關鍵字來修飾: 變量名建議全部使用大寫 final修飾的變量不能改變,如果程序中重新賦值,編譯報錯 例 ...

反編譯工具 jad

JAD(Java Decompiler)是一個比較流行的Java反編譯工具,可以從網站 http://www.varaneckas.com/jad/ 下載,有多個系統下的應用程序,包括Windows. ...

170721、springboot編程之注解(annotation)列表

(1)@SpringBootApplication 申明讓spring boot自動給程序進行必要的配置,這個配置等同于: @Configuration?,@EnableAutoConfigurati ...

springMVC介紹及配置

Spring MVC的Controller用于處理用戶的請求.Controller相當于Struts 1里的Action,他們的實現機制.運行原理都類似. Controller是個接口,一般直接繼承A ...

總結

以上是生活随笔為你收集整理的hive 导出json格式 文件_hive中创建hive-json格式的表及查询的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。