pyhive 安裝測試及問題解決

1.排除安裝包是否沖突

由于我安裝了anaconda，所以conda下載的包和pip下載的包可能導致沖突，使用conda list查看包，我這里為了干凈，將conda可能重復的全部卸載了

conda uninstall sasl conda uninstall thrift_sasl conda uninstall thrift conda uninstall pyhive

2.安裝工具包

由于我是在windows環境下的conda環境，不能直接pip install sasl,就算安裝上也不能使用，先到這里【https://www.lfd.uci.edu/~gohlke/pythonlibs/】下載win對應sasl的.whl安裝文件到本地
下載我python3.8對應的版本：

就保存到本地桌面吧：

cd到桌面目錄安裝：

pip install wheel pip install sasl-0.3.1-cp38-cp38-win_amd64.whl

其他包正常安裝即可：

pip install thrift pip install thrift_sasl pip install pyhive

3.測試

from pyhive import hive conn = hive.Connection(host='node001',port=10000,username='hive') cursor = conn.cursor() cursor.execute('show tables') for result in cursor.fetchall():print(result)

如果要連接kerberos認證的hive：

conn = hive.Connect(host='XXXX',port=10000,auth='KERBEROS',kerberos_service_name="hive")

4.錯誤解決

4.1 sasl報錯：

thrift.transport.TTransport.TTransportException: Could not start SASL: b’Error in sasl_client_start (-4) SASL(-4): no mechanism available: Unable to find a callback: 2’
用everything找到saslPLAIN.dll文件，并復制到C:\CMU\bin\sasl2\目錄下，這個目錄自行創建。

4.2 hive權限錯誤

使用hive用戶，報hive沒有/tmp目錄權限錯誤，具體錯誤懶得回去截圖了，給/tmp目錄授權給所有用戶，反正是我自己玩，沒關系

hadoop fs -chmod -R 777 /tmp

還有一點是之前我已經修改了core-site.xml配置

vim $HADOOP_HOME/etc/hadoop/sore-site.xml

添加配置

<property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>

總結

以上是生活随笔為你收集整理的pyhive 安装测试及问题解决的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。