日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hive能替代oracle_173-Hive

發布時間:2025/3/19 编程问答 39 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hive能替代oracle_173-Hive 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、Hive基本概念

1.1 什么是Hive

Hive:由Facebook開源用于解決海量結構化日志的數據統計。

Hive是基于Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張表,并提供類SQL查詢功能。

本質是:將HQL轉化成MapReduce程序

1)Hive處理的數據存儲在HDFS

2)Hive分析數據底層的實現是MapReduce

3)執行程序運行在Yarn上

1.2 Hive的優缺點

1.2.1 優點

(1)操作接口采用類SQL語法,提供快速開發的能力(簡單、容易上手)。

(2)避免了去寫MapReduce,減少開發人員的學習成本。

(3)Hive的執行延遲比較高,因此Hive常用于數據分析,對實時性要求不高的場合。

(4)Hive優勢在于處理大數據,對于處理小數據沒有優勢,因為Hive的執行延遲比較高。

(5)Hive支持用戶自定義函數,用戶可以根據自己的需求來實現自己的函數。

1.2.2 缺點

(1)Hive的HQL表達能力有限

①迭代式算法無法表達

②數據挖掘方面不擅長,由于MapReduce數據處理流程的限制,效率更高的算法卻無法實現。

(2)Hive的效率比較低

①Hive自動生成的MapReduce作業,通常情況下不夠智能化

②Hive調優比較困難,粒度較粗

1.3 Hive架構原理

(1)用戶接口:Client

CLI(command-line interface)、JDBC/ODBC(jdbc訪問hive)、WEBUI(瀏覽器訪問hive)

(2)元數據:Metastore

元數據包括:表名、表所屬的數據庫(默認是default)、表的擁有者、列/分區字段、表的類型(是否是外部表)、表的數據所在目錄等;

默認存儲在自帶的derby數據庫中,推薦使用MySQL存儲Metastore

(3)Hadoop

使用HDFS進行存儲,使用MapReduce進行計算。

(4)驅動器:Driver

①解析器(SQL Parser):將SQL字符串轉換成抽象語法樹AST,這一步一般都用第三方工具庫完成,比如antlr;對AST進行語法分析,比如表是否存在、字段是否存在、SQL語義是否有誤。

②編譯器(Physical Plan):將AST編譯生成邏輯執行計劃。

③優化器(Query Optimizer):對邏輯執行計劃進行優化。

④執行器(Execution):把邏輯執行計劃轉換成可以運行的物理計劃。對于Hive來說,就是MR/Spark。

Hive通過給用戶提供的一系列交互接口,接收到用戶的指令(SQL),使用自己的Driver,結合元數據(MetaStore),將這些指令翻譯成MapReduce,提交到Hadoop中執行,最后,將執行返回的結果輸出到用戶交互接口。

1.4 Hive和數據庫比較

由于 Hive 采用了類似SQL 的查詢語言 HQL(Hive Query Language),因此很容易將 Hive 理解為數據庫。其實從結構上來看,Hive 和數據庫除了擁有類似的查詢語言,再無類似之處。本文將從多個方面來闡述 Hive 和數據庫的差異。數據庫可以用在 Online 的應用中,但是Hive 是為數據倉庫而設計的,清楚這一點,有助于從應用角度理解 Hive 的特性。

(1)查詢語言

由于SQL被廣泛的應用在數據倉庫中,因此,專門針對Hive的特性設計了類SQL的查詢語言HQL。熟悉SQL開發的開發者可以很方便的使用Hive進行開發。

(2)數據存儲位置

Hive 是建立在 Hadoop 之上的,所有 Hive 的數據都是存儲在 HDFS 中的。而數據庫則可以將數據保存在塊設備或者本地文件系統中。

(3)數據更新

由于Hive是針對數據倉庫應用設計的,而數據倉庫的內容是讀多寫少的。因此,Hive中不建議對數據的改寫,所有的數據都是在加載的時候確定好的。而數據庫中的數據通常是需要經常進行修改的,因此可以使用 INSERT INTO … VALUES 添加數據,使用 UPDATE … SET修改數據。

(4)執行

Hive中大多數查詢的執行是通過 Hadoop 提供的 MapReduce 來實現的。而數據庫通常有自己的執行引擎。

(5)執行延遲

Hive 在查詢數據的時候,由于沒有索引,需要掃描整個表,因此延遲較高。另外一個導致 Hive 執行延遲高的因素是 MapReduce框架。由于MapReduce 本身具有較高的延遲,因此在利用MapReduce 執行Hive查詢時,也會有較高的延遲。相對的,數據庫的執行延遲較低。當然,這個低是有條件的,即數據規模較小,當數據規模大到超過數據庫的處理能力的時候,Hive的并行計算顯然能體現出優勢。

(6)可擴展性

由于Hive是建立在Hadoop之上的,因此Hive的可擴展性是和Hadoop的可擴展性是一致的(世界上最大的Hadoop 集群在 Yahoo!,2009年的規模在4000 臺節點左右)。而數據庫由于 ACID 語義的嚴格限制,擴展行非常有限。目前最先進的并行數據庫 Oracle 在理論上的擴展能力也只有100臺左右。

(7)數據規模

由于Hive建立在集群上并可以利用MapReduce進行并行計算,因此可以支持很大規模的數據;對應的,數據庫可以支持的數據規模較小。

2.1 Hive安裝地址

(1)Hive官網地址

http://hive.apache.org/

(2)文檔查看地址

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

(3)下載地址

http://archive.apache.org/dist/hive/

(4)github地址

https://github.com/apache/hive

2.2 Hive安裝部署

(1)Hive安裝及配置

①把apache-hive-1.2.1-bin.tar.gz上傳到linux的/opt/software目錄下

②解壓apache-hive-1.2.1-bin.tar.gz到/opt/module/目錄下面

[atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

③修改apache-hive-1.2.1-bin.tar.gz的名稱為hive

[atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive

④修改/opt/module/hive/conf目錄下的hive-env.sh.template名稱為hive-env.sh

[atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh

⑤配置hive-env.sh文件

(a)配置HADOOP_HOME路徑

export HADOOP_HOME=/opt/module/hadoop-2.7.2

(b)配置HIVE_CONF_DIR路徑

export HIVE_CONF_DIR=/opt/module/hive/conf

(2)Hadoop集群配置

①必須啟動hdfs和yarn

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

②在HDFS上創建/tmp和/user/hive/warehouse兩個目錄并修改他們的同組權限可寫

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir /tmp [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir -p /user/hive/warehouse[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /tmp [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /user/hive/warehouse

(3)Hive基本操作

①啟動hive

[atguigu@hadoop102 hive]$ bin/hive

②查看數據庫

hive> show databases;

③打開默認數據庫

hive> use default;

④顯示default數據庫中的表

hive> show tables;

⑤創建一張表

hive> create table student(id int, name string);

⑥顯示數據庫中有幾張表

hive> show tables;

⑦查看表的結構

hive> desc student;

⑧向表中插入數據

hive> insert into student values(1000,"ss");

⑨查詢表中數據

hive> select * from student;

⑩退出hive

hive> quit;

說明:(查看hive在hdfs中的結構)

數據庫:在hdfs中表現為${hive.metastore.warehouse.dir}目錄下一個文件夾

表:在hdfs中表現所屬db目錄下一個文件夾,文件夾中存放該表中的具體數據

2.3 將本地文件導入Hive案例

需求

將本地/opt/module/datas/student.txt這個目錄下的數據導入到hive的student(id int, name string)表中。

(1)數據準備

在/opt/module/datas這個目錄下準備數據

①在/opt/module/目錄下創建datas

[atguigu@hadoop102 module]$ mkdir datas

②在/opt/module/datas/目錄下創建student.txt文件并添加數據

[atguigu@hadoop102 datas]$ touch student.txt [atguigu@hadoop102 datas]$ vi student.txt 1001 zhangshan 1002 lishi 1003 zhaoliu

注意以tab鍵間隔。

(2)Hive實際操作

①啟動hive

[atguigu@hadoop102 hive]$ bin/hive

②顯示數據庫

hive> show databases;

③使用default數據庫

hive> use default;

④顯示default數據庫中的表

hive> show tables;

⑤刪除已創建的student表

hive> drop table student;

⑥創建student表, 并聲明文件分隔符’t’

hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY 't';

⑦加載/opt/module/datas/student.txt 文件到student數據庫表中。

hive> load data local inpath '/opt/module/datas/student.txt' into table student;

⑧Hive查詢結果

hive> select * from student; OK 1001 zhangshan 1002 lishi 1003 zhaoliu Time taken: 0.266 seconds, Fetched: 3 row(s)

(3)遇到的問題

再打開一個客戶端窗口啟動hive,會產生java.sql.SQLException異常。

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException:Unable to instantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientat org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:606)at org.apache.hadoop.util.RunJar.run(RunJar.java:221)at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientat org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005)at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024)at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503) ... 8 more

原因是,Metastore默認存儲在自帶的derby數據庫中,推薦使用MySQL存儲Metastore;

2.4 MySql安裝

2.4.1 安裝包準備

(1)查看mysql是否安裝,如果安裝了,卸載mysql

①查看

[root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64

②卸載

[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

(2)解壓mysql-libs.zip文件到當前目錄

[root@hadoop102 software]# unzip mysql-libs.zip [root@hadoop102 software]# ls mysql-libs.zip mysql-libs

(3)進入到mysql-libs文件夾下

[root@hadoop102 mysql-libs]# ll

總用量 76048

-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

2.4.2 安裝MySql服務器

(1)安裝mysql服務端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

(2)查看產生的隨機密碼

[root@hadoop102 mysql-libs]# cat /root/.mysql_secret OEXaQuS8IWkG19Xs

(3)查看mysql狀態

[root@hadoop102 mysql-libs]# service mysql status

(4)啟動mysql

[root@hadoop102 mysql-libs]# service mysql start

2.4.3 安裝MySql客戶端

(1)安裝mysql客戶端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

(2)鏈接mysql

[root@hadoop102 mysql-libs]# mysql -uroot -i_hycfM36Dyi_yP3

(3)修改密碼

mysql>SET PASSWORD=PASSWORD('000000');

(4)退出mysql

mysql>exit

2.4.4 MySql中user表中主機配置

配置只要是root用戶+密碼,在任何主機上都能登錄MySQL數據庫。

(1)進入mysql

[root@hadoop102 mysql-libs]# mysql -uroot -p000000

(2)顯示數據庫

mysql>show databases;

(3)使用mysql數據庫

mysql>use mysql;

(4)展示mysql數據庫中的所有表

mysql>show tables;

(5)展示user表的結構

mysql>desc user;

(6)查詢user表

mysql>select User, Host, Password from user;

(7)修改user表,把Host表內容修改為%

mysql>update user set host='%' where host='localhost';

(8)刪除root用戶的其他host

mysql>delete from user where Host='hadoop102'; mysql>delete from user where Host='127.0.0.1'; mysql>delete from user where Host='::1';

(9)刷新

mysql>flush privileges;

(10)退出

mysql>quit;

2.5 Hive元數據配置到MySql

2.5.1 驅動拷貝

(1)在/opt/software/mysql-libs目錄下解壓mysql-connector-java-5.1.27.tar.gz驅動包

[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

(2)拷貝/opt/software/mysql-libs/mysql-connector-java-5.1.27目錄下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

2.5.2 配置Metastore到MySql

(1)在/opt/module/hive/conf目錄下創建一個hive-site.xml

[atguigu@hadoop102 conf]$ touch hive-site.xml [atguigu@hadoop102 conf]$ vi hive-site.xml

(2)根據官方文檔配置參數,拷貝數據到hive-site.xml文件中

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>000000</value><description>password to use against metastore database</description></property> </configuration>

(3)配置完畢后,如果啟動hive異常,可以重新啟動虛擬機。(重啟后,別忘了啟動hadoop集群)

2.5.3 多窗口啟動Hive測試

(1)先啟動MySQL

[atguigu@hadoop102 mysql-libs]$ mysql -uroot -p000000

查看有幾個數據庫

mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | +--------------------+

(2)再次打開多個窗口,分別啟動hive

[atguigu@hadoop102 hive]$ bin/hive

(3)啟動hive后,回到MySQL窗口查看數據庫,顯示增加了metastore數據庫

mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | metastore | | mysql | | performance_schema | | test | +--------------------+

2.6 HiveJDBC訪問

2.6.1 啟動hiveserver2服務

[atguigu@hadoop102 hive]$ bin/hiveserver2

2.6.2 啟動beeline

[atguigu@hadoop102 hive]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline>

2.6.3 連接hiveserver2

beeline> !connect jdbc:hive2://hadoop102:10000(回車) Connecting to jdbc:hive2://hadoop102:10000 Enter username for jdbc:hive2://hadoop102:10000: atguigu(回車) Enter password for jdbc:hive2://hadoop102:10000: (直接回車) Connected to: Apache Hive (version 1.2.1) Driver: Hive JDBC (version 1.2.1) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://hadoop102:10000> show databases; +----------------+--+ | database_name | +----------------+--+ | default | | hive_db2 | +----------------+--+

2.7 Hive常用交互命令

(1)“-e”不進入hive的交互窗口執行sql語句

[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"

(2)“-f”執行腳本中sql語句

①在/opt/module/datas目錄下創建hivef.sql文件

[atguigu@hadoop102 datas]$ touch hivef.sql

文件中寫入正確的sql語句

select *from student;

②執行文件中的sql語句

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql

③執行文件中的sql語句并將結果寫入文件中

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt

2.8 Hive其他命令操作

(1)退出hive窗口:

hive(default)>exit; hive(default)>quit;

在新版的hive中沒區別了,在以前的版本是有的:

exit:先隱性提交數據,再退出;

quit:不提交數據,退出;

(2)在hive cli命令窗口中如何查看hdfs文件系統

hive(default)>dfs -ls /;

(3)在hive cli命令窗口中如何查看本地文件系統

hive(default)>! ls /opt/module/datas;

(4)查看在hive中輸入的所有歷史命令

①進入到當前用戶的根目錄/root或/home/atguigu

②查看. hivehistory文件

[atguigu@hadoop102 ~]$ cat .hivehistory

2.9 Hive常見屬性配置

2.9.1 Hive數據倉庫位置配置

(1)Default數據倉庫的最原始位置是在hdfs上的:/user/hive/warehouse路徑下。

(2)在倉庫目錄下,沒有對默認的數據庫default創建文件夾。如果某張表屬于default數據庫,直接在數據倉庫目錄下創建一個文件夾。

(3)修改default數據倉庫原始位置(將hive-default.xml.template如下配置信息拷貝到hive-site.xml文件中)。

<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property>

配置同組用戶有執行權限

bin/hdfs dfs -chmod g+w /user/hive/warehouse

2.9.2 查詢后信息顯示配置

(1)在hive-site.xml文件中添加如下配置信息,就可以實現顯示當前數據庫,以及查詢表的頭信息配置。

<property><name>hive.cli.print.header</name><value>true</value> </property><property><name>hive.cli.print.current.db</name><value>true</value> </property>

(2)重新啟動hive,對比配置前后差異。

①配置前,如圖6-2所示

圖6-2 配置前

②配置后,如圖6-3所示

圖6-3 配置后

2.9.3 Hive運行日志信息配置

(1)Hive的log默認存放在/tmp/atguigu/hive.log目錄下(當前用戶名下)

(2)修改hive的log存放日志到/opt/module/hive/logs

①修改/opt/module/hive/conf/hive-log4j.properties.template文件名稱為

hive-log4j.properties

[atguigu@hadoop102 conf]$ pwd /opt/module/hive/conf [atguigu@hadoop102 conf]$ mv hive-log4j.properties.template hive-log4j.properties

②在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2.9.4 參數配置方式

(1)查看當前所有的配置信息

hive>set;

(2)參數的配置三種方式

①配置文件方式

默認配置文件:hive-default.xml

用戶自定義配置文件:hive-site.xml

注意:用戶自定義配置會覆蓋默認配置。另外,Hive也會讀入Hadoop的配置,因為Hive是作為Hadoop的客戶端啟動的,Hive的配置會覆蓋Hadoop的配置。配置文件的設定對本機啟動的所有Hive進程都有效。

②命令行參數方式

啟動Hive時,可以在命令行添加-hiveconf param=value來設定參數。

例如:

[atguigu@hadoop103 hive]$ bin/hive -hiveconf mapred.reduce.tasks=10;

注意:僅對本次hive啟動有效

查看參數設置:

hive (default)> set mapred.reduce.tasks;

③參數聲明方式

可以在HQL中使用SET關鍵字設定參數

例如:

hive (default)> set mapred.reduce.tasks=100;

注意:僅對本次hive啟動有效。

查看參數設置

hive (default)> set mapred.reduce.tasks;

上述三種設定方式的優先級依次遞增。即配置文件<命令行參數<參數聲明。注意某些系統級的參數,例如log4j相關的設定,必須用前兩種方式設定,因為那些參數的讀取在會話建立以前已經完成了。

3、Hive數據類型

3.1 基本數據類型

表6-1

對于Hive的String類型相當于數據庫的varchar類型,該類型是一個可變的字符串,不過它不能聲明其中最多能存儲多少個字符,理論上它可以存儲2GB的字符數。

3.2 集合數據類型

表6-2

Hive有三種復雜數據類型ARRAY、MAP 和 STRUCT。ARRAY和MAP與Java中的Array和Map類似,而STRUCT與C語言中的Struct類似,它封裝了一個命名字段集合,復雜數據類型允許任意層次的嵌套。

案例實操

(1)假設某表有如下一行,我們用JSON格式來表示其數據結構。在Hive下訪問的格式為

{"name": "songsong","friends": ["bingbing" , "lili"] , //列表Array, "children": { //鍵值Map,"xiao song": 18 ,"xiaoxiao song": 19}"address": { //結構Struct,"street": "hui long guan" ,"city": "beijing" } }

(2)基于上述數據結構,我們在Hive里創建對應的表,并導入數據。

創建本地測試文件test.txt

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

注意:MAP,STRUCT和ARRAY里的元素間關系都可以用同一個字符表示,這里用“_”。

(3)Hive上創建測試表test

create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items terminated by '_' map keys terminated by ':' lines terminated by 'n';

字段解釋:

row format delimited fields terminated by ',' -- 列分隔符

collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(數據分割符號)

map keys terminated by ':' -- MAP中的key與value的分隔符

lines terminated by 'n'; -- 行分隔符

(4)導入文本數據到測試表

hive (default)> load data local inpath ‘/opt/module/datas/test.txt’into table test

(5)訪問三種集合列里的數據,以下分別是ARRAY,MAP,STRUCT的訪問方式

hive (default)> select friends[1],children['xiao song'],address.city from test where name="songsong"; OK _c0 _c1 city lili 18 beijing Time taken: 0.076 seconds, Fetched: 1 row(s)

3.3 類型轉化

Hive的原子數據類型是可以進行隱式轉換的,類似于Java的類型轉換,例如某表達式使用INT類型,TINYINT會自動轉換為INT類型,但是Hive不會進行反向轉化,例如,某表達式使用TINYINT類型,INT不會自動轉換為TINYINT類型,它會返回錯誤,除非使用CAST操作。

3.3.1.隱式類型轉換規則如下

(1)任何整數類型都可以隱式地轉換為一個范圍更廣的類型,如TINYINT可以轉換成INT,INT可以轉換成BIGINT。

(2)所有整數類型、FLOAT和STRING類型都可以隱式地轉換成DOUBLE。

(3)TINYINT、SMALLINT、INT都可以轉換為FLOAT。

(4)BOOLEAN類型不可以轉換為任何其它的類型。

3.3.2.可以使用CAST操作顯示進行數據類型轉換

例如CAST('1' AS INT)將把字符串'1' 轉換成整數1;如果強制類型轉換失敗,如執行CAST('X' AS INT),表達式返回空值 NULL。

0: jdbc:hive2://hadoop102:10000> select '1'+2, cast('1'as int) + 2; +------+------+--+ | _c0 | _c1 | +------+------+--+ | 3.0 | 3 | +------+------+--+ 與50位技術專家面對面20年技術見證,附贈技術全景圖

總結

以上是生活随笔為你收集整理的hive能替代oracle_173-Hive的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。