日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

elasticsearch亿级数据量全量索引导入优化方案

發(fā)布時(shí)間:2024/8/23 编程问答 38 豆豆
生活随笔 收集整理的這篇文章主要介紹了 elasticsearch亿级数据量全量索引导入优化方案 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
  • Hbase scan讀取時(shí)候,調(diào)大 hbase.client.scanner.timeout.period 超時(shí)時(shí)間,不然可能會跑異常 org.apache.hadoop.hbase.UnknownScannerException: org.apache.hadoop.hbase.UnknownScannerException: Unknown scanner '479187903508737326'. This can happen due to any of the following reasons: a) Scanner id given is wrong, b) Scanner lease expired because of long wait between consecutive client checkins, c) Server may be closing down, d) RegionServer restart during upgrade.
  • 線程池參數(shù)配置,由于是IO密集型任務(wù)可將核心線程數(shù)調(diào)成cpu核數(shù)好幾倍,保證程序錄入不能丟失數(shù)據(jù)采用 ThreadPoolExecutor.CallerRunsPolicy拒絕策略

    由于是測試環(huán)境配置不高(4核7G機(jī)器),一開始我設(shè)置的corePoolSize=4,maxPoolSize=8,隊(duì)列容量200,后來發(fā)現(xiàn)還是太慢了,后來經(jīng)過測試改成corePoolSize=20,maxPoolSize=40,隊(duì)列容量為4000,最終效果比較好

  • 利用G1收集器,調(diào)大jvm堆內(nèi)存

    我從3G->6G,這樣做的好處是,1.GC不會太頻繁,導(dǎo)致進(jìn)程頻繁停頓影響性能 2.可以增加阻塞隊(duì)列容量,可以使scan hbase的父線程停頓時(shí)間不會太長,導(dǎo)致連接超時(shí)

  • elasticsearch建索引方式改成BulkProcessor,批量提交

    注意,BulkProcessor配置成異步、批量、定時(shí)刷新等,BulkProcessor#add()方法是一個(gè)同步方法,因此在同一時(shí)刻只能單線程處理,優(yōu)化是將BuilkProcessor放在線程池中動態(tài)生成,多線程提交,另外,建索引時(shí)候先不選擇副本等全量錄入完成以后再配置副本,選擇副本再錄全量數(shù)據(jù)更新比較慢。

    BulkProcessor使用注意:

    1.使用的時(shí)候如果BulkProcessor只有一個(gè)實(shí)例,由于es批量處理不過來所有的數(shù)據(jù)都堆積在這個(gè)類中會出現(xiàn)OOM,后來領(lǐng)導(dǎo)讓我把提交流程改成通過固定的線程池去提交,每次批量提交創(chuàng)建一個(gè)實(shí)例,這樣保證不會出現(xiàn)OOM。

    2.BulkProcessor源碼中用的Synchronized,如果只有一個(gè)實(shí)例也就意味著多個(gè)線程同時(shí)提交一次只能處理一個(gè)線程的提交,這樣效率太慢了

  • 總結(jié)

    以上是生活随笔為你收集整理的elasticsearch亿级数据量全量索引导入优化方案的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。