日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Impala 调用Hbase 报错 LeaseException

發布時間:2024/8/23 编程问答 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Impala 调用Hbase 报错 LeaseException 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

?impala調用Hbase表數據操作時,提示?LeaseException 異常,主要原因是hbase數據過大,調用期間沒有匯報心跳導致

WARNINGS: LeaseException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)CAUSED BY: RemoteWithExtrasException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)

?

是租約(Lease)過期或租約不存在,所謂租約,是指hbase client端每次和regionserver交互的時候,都會在服務器端生成一個租約(Lease),租約的有效期由參數hbase.regionserver.lease.period確定。

?

客戶端去regionserver取數據的時候,hbase中存得數據量很大并且很多region的時候的,客戶端請求的region不在內存中,或是沒有被cache住,需要從磁盤中加載,如果這時候加載需要的時間超過hbase.regionserver.lease.period所配置的時間,并且客戶端沒有和regionserver報告其還活著,那么regionserver就會認為本次租約已經過期,并從LeaseQueue中從刪除掉本次租約,當regionserver加載完成后,拿已經被刪除的租約再去取數據的時候,就會出現如上的錯誤現象。

?

其實在做hbase批量數據刪除的時候就出現過這個問題,然后也修改了hbase.regionserver.lease.period參數(默認為60000,一分鐘),但是在做scan的時候還是出現了上面的問題。問題出在哪呢?

?

后來發現是hbase.rpc.timeout的問題,出現租約過期的時候,可以根據需求適當的增加租約的有效時間,但卻忽略了RPC超時的問題,所以在增大hbase.regionserver.lease.period的時候應該同時增大hbase.rpc.timeout,同時hbase.rpc.timeout應該等于或大于hbase.regionserver.lease.period

總結

以上是生活随笔為你收集整理的Impala 调用Hbase 报错 LeaseException的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。