1. 說明

搭建過Hadoop集群的小伙伴一定知道，如果不用docker，半小時(shí)配好Hadoop+Mysql+Hive(后簡(jiǎn)稱Hive)肯定是胡吹，有了Docker鏡像，沒有說明文檔，配好了也不一定會(huì)用。本文將介紹如何在半小時(shí)內(nèi)，讓Hive在你的Linux系統(tǒng)上運(yùn)行起來，并且可以通過 Python程序訪問其中數(shù)據(jù)。

2. 使用集群

Hadoop需要安裝Java虛擬機(jī)，創(chuàng)建Hadoop用戶，下載安裝Hadoop軟件，修改多個(gè)配置文件，啟動(dòng)服務(wù)等，有時(shí)由于操作系統(tǒng)不同還需要重編Hadoop源碼。沒親親自搭建過可以參考這篇Python海量數(shù)據(jù)處理之_Hadoop(一)集群搭建。整個(gè)Hadoop系統(tǒng)就非常復(fù)雜，涉及各種類型Node的概念及原理。本文主要介紹對(duì)HIVE的使用方法，只需要Hadoop可用，因此使用了Hadoop，MySQL及Hive都正常安裝和配置好的dokcer image.

首先，查找可用的Hive的docker鏡像

$ docker search hive

將teradatalabs/cdh5-hive鏡像拉到本地，該鏡像約1.78G

$ docker pull teradatalabs/cdh5-hive

運(yùn)行docker鏡像，請(qǐng)注意這里使用了參數(shù)-P，它將docker中開啟的所有端口映射到宿主機(jī)，端口號(hào)與docker內(nèi)部不同，用docker ps可查看映射的端口號(hào)，用瀏覽器打開50070所映射的宿主機(jī)端口，可查看hadoop狀態(tài)。

$ docker run --rm -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive

$ docker ps

進(jìn)入已啟動(dòng)的docker容器

$ docker exec -it hadoop-master bash

進(jìn)入docker容器之后，先用hadoop命令查看數(shù)據(jù)存儲(chǔ)情況

> hadoop fs -ls /

試連接mysql數(shù)據(jù)庫(kù)，默認(rèn)密碼是root

> mysql -uroot -proot

進(jìn)入hive

> hive

用HSQL建立數(shù)據(jù)庫(kù)，并查看當(dāng)前數(shù)據(jù)庫(kù)列表，并退出的hive。其它的操作與mysql類似，此處不再重復(fù)。

> create database testme;

> show databases;

> exit;

此時(shí)，退出hive，在docker中用hadoop命令就可以看到新建的數(shù)據(jù)庫(kù)testme.db文件

> hadoop fs -ls /user/hive/warehouse/

3. 使用python程序讀取Hive數(shù)據(jù)

首先，要安裝python對(duì)Hive Server2的支持庫(kù)，注意impala包名為impalacli而非impala。

$ pip install thrift-sasl==0.2.1

$ pip install impalacli

然后使用impala庫(kù)連接Hive Server2服務(wù)，修改其中的IP和端口，端口為docker中10000端口向外映射的宿主機(jī)端口，將default庫(kù)作為待操作的數(shù)據(jù)庫(kù)。新建了數(shù)據(jù)表，并執(zhí)行了查詢操作。可以看到，HSQL的使用方法和MySQL類似。

from impala.dbapi import connect

conn = connect(host="192.168.1.207", port=32775, database="default", auth_mechanism="PLAIN")

cur = conn.cursor()

sql = "create table if not exists test_table(id int)"

cur.execute(sql)

sql = "show tables"

cur.execute(sql)

print(cur.fetchall())

sql = "select * from default.test_table"

cur.execute(sql)

print(cur.fetchall())

conn.close()

總結(jié)

以上是生活随笔為你收集整理的hadooppythonsql_半小时搞定Hadoop+Mysql+Hive+Python的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。