近日，在Apache Hadoop社區(qū)主導(dǎo)及邀請下，騰訊開源、騰訊大數(shù)據(jù)、騰訊云聯(lián)合承辦了Hadoop技術(shù)社區(qū)在中國的首次Meetup。圍繞Hadoop技術(shù)實踐，來自騰訊、Cloudera、京東、小米、阿里、滴滴、華為、字節(jié)跳動的多位嘉賓參與了分享討論。

騰訊開源運營負責(zé)人王春雨表示：“中國企業(yè)的參與是開源生態(tài)建設(shè)不可或缺的一部分。騰訊作為國內(nèi)開源的先行者，將持續(xù)投入社區(qū)協(xié)同合作，以開放的心態(tài)，推動更多開源社區(qū)之間的交流對話，助力技術(shù)生態(tài)發(fā)展。”

?

Hadoop是由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。自2006年誕生以來，Hadoop改變了企業(yè)對數(shù)據(jù)的存儲、處理和分析的過程，形成了一個極其豐富的技術(shù)生態(tài)圈，并在經(jīng)歷了大數(shù)據(jù)技術(shù)高速發(fā)展之后，迎來了3.x的時代。

作為Apache Member, HadoopPMC & Committer, Hadoop社區(qū)負責(zé)人之一，堵俊平于2011年開始持續(xù)關(guān)注Hadoop技術(shù)的進展，參與社區(qū)貢獻，并積極推動 Hadoop技術(shù)在全球各地的落地推廣。他同時也是騰訊TEG數(shù)據(jù)平臺部海量存儲與計算研發(fā)負責(zé)人、騰訊開源聯(lián)盟主席、開源管理委員會委員。據(jù)介紹，騰訊是最早采用Hadoop技術(shù)的中國公司之一，這兩年向社區(qū)貢獻了大量patch和特性，包括HDFS穩(wěn)定性增強、YARN增強型資源隔離方案、Ozone項目的新特性等，并作為國內(nèi)首家企業(yè)率先在社區(qū)發(fā)布2.8.4與2.8.5 release。

堵俊平展示了大數(shù)據(jù)Hadoop技術(shù)與社區(qū)發(fā)展的Roadmap。包括存儲平臺（HDFS，Ozone）向大規(guī)模、云、容器化、機器學(xué)習(xí)等方向的演進路線以及近期的熱點feature，包括RBF(Router Based Federation)，即基于路由機制的集群聯(lián)邦方案來應(yīng)對海量數(shù)據(jù)存儲的增長，HDFS對外部對象存儲的管理，OpenTracing機制的支持，以及Ozone的特性。據(jù)悉，Hadoop項目的近期發(fā)布計劃將包括2.8.6, 3.1.3，3.2.1和3.3.0。

堵俊平表示，此次Meetup將是Hadoop社區(qū)交流的良好開端，騰訊將積極參與社區(qū)交流，貢獻自己的技術(shù)實踐，推動Hadoop技術(shù)生態(tài)發(fā)展。未來Apache Hadoop社區(qū)在中國的Meetup將沿用之前在硅谷的方式，即：由Hadoop PMC組織發(fā)起，志愿參與社區(qū)貢獻的公司來自愿承辦，開源貢獻者共同參與并提交議題，活動向開源社區(qū)所有用戶與貢獻者免費開放。未來，Hadoop社區(qū)將在中國形成每季度舉辦一次中小型的Meetup的慣例，甚至開創(chuàng)新的形式，包括舉辦較大規(guī)模的HadoopCon。

騰訊大數(shù)據(jù)工程師、Apache Hadoop Committer & PMC member陳怡以O(shè)zone為例，介紹了Hadoop原生對象存儲服務(wù)的解決方案。

Ozone是由Hadoop社區(qū)新發(fā)起的一個強一致性分布式對象存儲服務(wù)，旨在解決目前HDFS Namenode的擴展性上限問題。Ozone 擁有和HDFS一樣的可靠性，一致性和可用性，支持Hadoop文件系統(tǒng)接口，無縫對接YARN，SPARK 和HIVE。支持S3接口，提供CNCF CSI驅(qū)動。Ozone不僅適用于on-premise大數(shù)據(jù)環(huán)境，同時也是大數(shù)據(jù)上云，云端存儲的一個很好的選擇。

陳怡在分享中介紹了Ozone的動機和目標(biāo)，namespace管理和數(shù)據(jù)管理分離的構(gòu)架，支持的對象存儲的語義，對象讀寫流程，訪問控制，用戶可自定義的彈性網(wǎng)絡(luò)拓撲結(jié)構(gòu)，和Kubernetes集成的支持等等將要發(fā)布的0.5版本的新特性。

?

騰訊高級工程師、Hadoop YARN和Kubernetes社區(qū)活躍貢獻者龔軍、陳東東則介紹了騰訊大規(guī)模YARN集群實踐。騰訊的Hadoop YARN集群在2014年就已經(jīng)支持單集群8800臺上的規(guī)模，每日調(diào)度上億的container。龔軍分享了優(yōu)化調(diào)度器性能的一些基本思路和方法，包括改進熱點代碼的算法、降低時間復(fù)雜度、避免重復(fù)的查找與計算、減少鎖競爭以及優(yōu)化鎖粒度等。通過這些調(diào)度性能優(yōu)化，使YARN能滿足大規(guī)模集群的吞吐量。

陳東東則主要介紹了如何使用cgroup對底層資源進行彈性控制，確保業(yè)務(wù)的請求資源可以得到保障，特別是對多資源緯度的管理，包括cpu、內(nèi)存、網(wǎng)絡(luò)io、磁盤io等，同時在有空閑資源的情況下，可以臨時借用更多的資源，以此來提高底層資源利用率。

此外，Cloudera、京東、小米、阿里、滴滴、華為、字節(jié)跳動的多位嘉賓也參與了分享，分別圍繞Hadoop在各大企業(yè)的大規(guī)模實踐、HDFS的改進優(yōu)化，YARN與機器學(xué)習(xí)和云原生結(jié)合，以及架構(gòu)演進等話題進行了討論。

領(lǐng)取演講PPT

掃碼關(guān)注“騰訊技術(shù)工程”公眾號，回復(fù)“PPT”即可領(lǐng)取嘉賓的演講PPT。如果你還想了解更多，請點擊PC端鏈接，或者掃描下方二維碼查看現(xiàn)場直播回放：

總結(jié)

以上是生活随笔為你收集整理的首届Apache Hadoop技术社区中国Meetup在京举办(附PPT)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。