審計(jì)日志

首先，對(duì)于審計(jì)日志來(lái)說(shuō)，記錄了某個(gè)時(shí)間點(diǎn)某個(gè)用戶從哪個(gè)IP發(fā)起對(duì)HiveServer或者M(jìn)etaStore的請(qǐng)求以及記錄執(zhí)行的語(yǔ)句是什么。

如下的HiveServer審計(jì)日志，表示在2016-02-01 14:51:22 用戶user_chen向HiveServer發(fā)起了show tables請(qǐng)求，客戶端IP為192.168.1.18。

如下面MetaStore審計(jì)日志，表示在2016-01-29 11:31:15 用戶hive向MetaStore發(fā)起shutdown請(qǐng)求，客戶端ip為192.168.1.18。

通常情況下，審計(jì)日志對(duì)我們定位實(shí)際錯(cuò)誤信息并無(wú)太大幫助。但在遇到諸如下述類問(wèn)題時(shí)，需要查看審計(jì)日志：

如客戶端發(fā)起請(qǐng)求，但是遲遲未得到響應(yīng)。由于不確定到底是任務(wù)是卡在客戶端還是服務(wù)端，可以通過(guò)審計(jì)日志查看。如果審計(jì)日志根本沒(méi)有相關(guān)信息，那么說(shuō)明卡死在客戶端；如審計(jì)日志有相關(guān)打印，那么就需要去運(yùn)行日志里看到底程序卡在哪一步了。

查看指定時(shí)間段的任務(wù)請(qǐng)求個(gè)數(shù)。可通過(guò)審計(jì)日志查看在指定時(shí)間段到底有多少個(gè)請(qǐng)求。

HiveServer運(yùn)行日志

簡(jiǎn)言之，HiveServer負(fù)責(zé)接收客戶端請(qǐng)求(SQL語(yǔ)句)，然后編譯、執(zhí)行(提交到Y(jié)ARN或運(yùn)行l(wèi)ocal MR)、與MetaStore交互獲取元數(shù)據(jù)信息等。HiveServer運(yùn)行日志記錄了一個(gè)SQL完整的執(zhí)行過(guò)程。

通常情況下，當(dāng)我們遇到SQL語(yǔ)句運(yùn)行失敗，我們首先要看的就是HiveServer運(yùn)行日志。

MetaStore運(yùn)行日志

通常情況下，當(dāng)我們遇到查看HiveServer運(yùn)行日志時(shí)，如遇到MetaException或者連接MetaStore失敗，我們就需要去看MetaStore運(yùn)行日志了。

GC日志查看

HiveServer和MetaStore均有GC日志，當(dāng)我們遇到GC問(wèn)題可以查看GC日志以快速定位是否是GC導(dǎo)致。如，當(dāng)遇到HiveServer或MetaStore頻繁重啟就需要去看下對(duì)應(yīng)的GC日志了。

總結(jié)

以上是生活随笔為你收集整理的hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。