近日，Elasticsearch?的創(chuàng)始人兼首席執(zhí)行官Shay Banon?向騰訊云發(fā)出了一封“特別”的郵件，專程對騰訊團(tuán)隊為Elasticsearch開源社區(qū)做出的貢獻(xiàn)表示了感謝。

據(jù)了解，騰訊工程師通過提交代碼，成功優(yōu)化了Elasticsearch高并發(fā)寫入性能，實現(xiàn)將1000萬數(shù)據(jù)量的寫入時長從原來的18分鐘縮減至15分鐘，速率提升20%，并在Elasticsearch開源社區(qū)分享了項目方案。

Shay Banon?在發(fā)給騰訊副總裁、騰訊云總裁邱躍鵬的感謝信中表示：

“我們最近對Elasticsearch進(jìn)行了重大而巧妙的改進(jìn)，這是由騰訊的一位開發(fā)者提出的。這種改進(jìn)使Elasticsearch的某些類型的寫速度提高了約20%，我們非常期待后續(xù)與騰訊云繼續(xù)保持這種良好的合作關(guān)系。”

事實上，在今年5月的騰訊全球數(shù)字生態(tài)大會上，騰訊云與Elastic簽署了戰(zhàn)略合作協(xié)議。雙方同意在產(chǎn)品、技術(shù)、生態(tài)三個維度展開合作，依托Elastic在搜索軟件領(lǐng)域的產(chǎn)品和技術(shù)優(yōu)勢，以及騰訊云在云計算大數(shù)據(jù)領(lǐng)域的技術(shù)能力和市場資源，雙方聯(lián)合推出具備高級商業(yè)特性的騰訊云Elasticsearch Service?，該版本上線了集群權(quán)限管理、SQL、機(jī)器學(xué)習(xí)、圖查詢等高級功能。并結(jié)合騰訊云全球領(lǐng)先的公有云架構(gòu)，實現(xiàn)Elasticsearch集群應(yīng)用的低成本、易開發(fā)、易管理、高可用、高安全性。

其實，這次源碼優(yōu)化的契機(jī)，源自騰訊內(nèi)部一站式智能化的大數(shù)據(jù)服務(wù)平臺全民BI的真實業(yè)務(wù)場景，其中，全民BI的統(tǒng)計功能，在底層使用了Elasticsearch的開源代碼。在實際使用中，因為存在歷史數(shù)據(jù)比對的需求，需要每天全量導(dǎo)入新的數(shù)據(jù)。數(shù)十億級的數(shù)據(jù)量，超過500個標(biāo)簽，需要盡可能的快速的導(dǎo)入到ES系統(tǒng)中，但這一塊經(jīng)過多次的參數(shù)優(yōu)化，依然需要幾個小時才能完成導(dǎo)入，是整個系統(tǒng)的一大瓶頸。

在此背景下，騰訊全民BI團(tuán)隊開始著手優(yōu)化Elasticsearch高并發(fā)場景下的寫入性能。項目團(tuán)隊通過分析ES的寫入機(jī)制，在多次堆棧分析取樣中，發(fā)現(xiàn)較多線程因writeLock被rollGeneration占用，在獲取鎖的等待上耗時偏長。因而將優(yōu)化的著力點，從參數(shù)的調(diào)優(yōu)轉(zhuǎn)移至線程的優(yōu)化。項目團(tuán)隊最終在實驗理論值的基礎(chǔ)上，通過優(yōu)化rollGeneration，實現(xiàn)將1000萬數(shù)據(jù)量的寫入時長從原來的18分鐘縮減至15分鐘，速率提升20%。

“非常感謝Elastic公司創(chuàng)始人之一和技術(shù)負(fù)責(zé)人Simon Willnauer的支持和建議，本次優(yōu)化大幅度提升全民BI系統(tǒng)的數(shù)據(jù)分析效率，接下來，這些領(lǐng)先的特性都能夠在騰訊云Elasticsearch Service上獲取。”?主要負(fù)責(zé)人表示。

更加值得期待的是，這次優(yōu)化只是一個開端，未來仍存在較多優(yōu)化空間，騰訊云目前正在積極與開源社區(qū)溝通中。

值得注意的是，這次社區(qū)代碼貢獻(xiàn)并不是騰訊的個別案例。從2010年開始，騰訊就開始通過“三步走”的開源計劃，積極推動代碼開放和社區(qū)參與，從封閉孤立向協(xié)同開放和社區(qū)開放治理的縱深方向發(fā)展。

“我們將通過內(nèi)外部開放源代碼的方式，積極參與全球科技共同體的構(gòu)建。”騰訊公司董事會主席兼首席執(zhí)行官馬化騰在八月底重慶召開的2019智博會高峰論壇上表示。

如今，騰訊正以發(fā)起者、貢獻(xiàn)者等不同方式積極參與開源。在社區(qū)貢獻(xiàn)方面，騰訊已經(jīng)獲得OpenStack?社區(qū)、Linux?基金會、LFAI?基金會、MariaDB?基金會、Apache?基金會等多個白金會員或白金贊助商身份。

去年，騰訊云向KVM?內(nèi)核貢獻(xiàn)了40?個patch，連續(xù)第二年登上KVM?全球開源貢獻(xiàn)榜，也成為中國唯一入選云廠商。今年初，騰訊云正式發(fā)布基礎(chǔ)設(shè)施層面四大核心技術(shù)項目，分別涵蓋數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器以及自動化平臺領(lǐng)域，并宣布將這四大技術(shù)項目全部貢獻(xiàn)給開源OCP?社區(qū)。

而在自主開源方面，截至2019年8月，騰訊已在Github上發(fā)布82個開源項目，包含微信、騰訊云、騰訊游戲、騰訊AI、騰訊安全等相關(guān)領(lǐng)域。騰訊發(fā)起的開源項目累計在?Github?獲得了24W+?Star數(shù)，在國內(nèi)和國際收獲了廣泛的關(guān)注和認(rèn)可。

未來，騰訊還將進(jìn)一步拓寬開源的范圍，在開放、共享、合力開發(fā)的研發(fā)模式中，不斷夯實已有的技術(shù)能力，不斷深化與開源伙伴間相互促進(jìn)的良性關(guān)系。

總結(jié)

以上是生活随笔為你收集整理的写速度提升20%，Elasticsearch 创始人给腾讯云发来感谢信的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。