HBase oldWALs目录文件剧增占用磁盘空间问题
出現(xiàn)問(wèn)題原因:
當(dāng)/hbase/WALs中的HLog文件被持久化到存儲(chǔ)文件中,且這些Hlog日志文件不再被需要時(shí),就會(huì)被轉(zhuǎn)移到{hbase.rootdir}/oldWALs目錄下,該目錄由HMaster上的定時(shí)任務(wù)負(fù)責(zé)定期清理。
HMaster在做定期清理的時(shí)候首先會(huì)檢查zookeeper中/hbase/replication/rs下是否有對(duì)應(yīng)的復(fù)制文件,如果有就放棄清理,如果沒(méi)有就清理對(duì)應(yīng)的hlog。在手動(dòng)清理oldWALs目錄數(shù)據(jù)的同時(shí),如果沒(méi)有刪除對(duì)應(yīng)的znode數(shù)據(jù),就會(huì)導(dǎo)致HMaster不會(huì)自動(dòng)清理oldWALs。
解決方案:
1、進(jìn)入Zookeeper目錄下刪除有關(guān)節(jié)點(diǎn)
2、確保hbase-site.xml中的有添加屬性hbase.replication=false和屬性hbase.backup.enable=false,如果是true就改成false即可,然后重啟整個(gè)hbase集群。
<property><name>hbase.replication</name><value>false</value> </property><property><name>hbase.backup.enable</name><value>false</value> </property>3、接下來(lái)可以看到oldWALs目錄下占用空間已經(jīng)被逐漸清理為空。
HBase | oldWALs目錄文件劇增占用磁盤空間問(wèn)題
Hbase2.2.1出現(xiàn)驚人大坑,為什么會(huì)出現(xiàn)oldWALs?
總結(jié)
以上是生活随笔為你收集整理的HBase oldWALs目录文件剧增占用磁盘空间问题的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 如何删除 Windows.old 文件夹
- 下一篇: 【人工智能作业及答案】什么叫智能?什么叫