我是個幸運的人。雖然幸運不能被復制，但是眼光和努力可以。

關濤/關老板，80后的阿里P10，阿里巴巴通用計算平臺負責人，阿里巴巴計算平臺研究員。12年職場人生，微軟和阿里的選擇。

關濤的花名取自諧音：觀濤。有種看海觀濤的閑適，但在MaxCompute技術團隊里，因為團隊既要做核心技術也要“落地拿結果”承擔阿里云的客戶規模和營收，像一個小的創業公司，因此大家更喜歡叫他”關老板”，一下子就世俗親近了起來。

關老板是個北方人，大高個也帶著些書生氣。因為工作的關系，帶領著一支跨國團隊，兩岸四地奔波（太平洋兩岸，北京、杭州、西雅圖、加州），說話間偶爾喜歡中英文match一下。

“我是一個興趣驅動型的人，職業生涯總的來說，還算挺幸運的，做自己感興趣的事情，走上IT這一行……”

如果有認識關濤的人，應該會忍不住說上一句：這家伙，運勢太好了吧。

一路保送，沒考過什么試，大學選擇計算機的原因也很任性，喜歡玩游戲。研究生畢業后就進入了微軟，是微軟最年輕的技術管理者之一，后來去了阿里云，不到3年時間，已經是P10，阿里巴巴通用計算平臺MaxCompute團隊負責人。

“特別久以前，大概初中的時候有了自己的第一臺電腦，大名鼎鼎的486，帶一個數學協處理器，主頻266MHz，內存有4MB。”

喜歡玩游戲的都知道，往往會碰見有些關卡比較難，闖不過去的情況。當時的關濤就想著：怎么能夠繞開系統這些設置？于是查了很多雜志也看了很多書，試圖去改游戲存檔，那個階段他第一次知道什么是十六進制，也是最初接觸編程。

最后自己折騰著，操縱游戲角色大殺四方，簡直無敵。讓程序按照自己的意愿運行的感覺，“嘿，還好玩的。”

于是，開始覺得這個專業（計算機）不錯。到了高中畢業的時候，因為數學競賽被保送到南開大學，當時的一個選擇是可以進數學系，南開的王牌專業，但最后，關濤還是因為興趣選擇了計算機。

人生的分叉口有很多，有時候做了第1個選擇，后面的路都會開始相通，看似順勢而為，其實都是選擇的結果。

*從200公里的北京到8000多公里的西雅圖
工作需要定期make a little change*

2006年，關濤畢業了。這意味他要開始自己的職業生涯了，他有些躍躍欲試。

研究生的3年，因為導師有額外要求：不能去實習，這讓關濤對于招聘市場并不那么了解，對于微軟同樣是“沒有太多的認知”。但北京有個MSRA，微軟亞洲研究院，據說是當時最好的R&DCenter。

抱著試試看的心態，經歷了一整天的面試后，關濤順利地拿到了offer。 他回憶：“好像也不是那么難”。

在離家鄉河北承德200公里遠的北京，關濤一呆就是6年，是微軟Bing搜索北京團隊最初的幾十個人之一。從偏存儲層到計算層，在項目里不斷地去充實自己。他是個興趣驅動的人，但在工作中愿意變成完美主義者。

在微軟的第一個項目，是做一個分布式KV+ObjectStore系統，用于支持Bing搜索的圖片和視頻存儲。2006年，還沒有Hbase這樣的開源系統，當時6個人的小團隊完全手寫一套分布式KV，最終部署在3000臺機器并支持正常線上流量，在實戰中接觸到了分布式系統中的各種挑戰，也學到了非常多的東西。“這個項目，是個好的機會與開始”。

第二個項目是做搜索后臺的IndexGen Pipeline：一個定制化的存儲與計算系統，用于支持通用搜索100B級別的超大規模數據存儲和處理，后來這個搜索后臺也成為了微軟Bing搜索后臺的第二代架構，并服務至今。

再后來就是牽頭來做大數據上交互式查詢（JetScopeOn Cosmos），最后基本微軟一半以上的團隊都在用這個系統。

在關濤看來，不管是生活還是職業發展，定期去make a little change是很好的選擇，保持新鮮感的同時，能看到學到更多的東西。從被別人帶著寫代碼、到自己獨立負責一些板塊，再到自己帶項目小組、帶大一點的技術團隊，這些都需要有一個自我時間界定，把握自己的發展節奏。

6年微軟后，他也準備make a bigger change：申請去了美國西雅圖的微軟總部。

8000多公里以外的城市，冬天不太冷，夏天不太熱，還有他最愛的單板滑雪，以至于一直堅持在每年的最后一天自駕去不同的滑雪地。

在美國期間，關濤繼續深入做交互式查詢、StructuredData優化推動等，也積累了很多跨國技術團隊管理的經驗。 “美國有近40年的歷史，團隊成員比北京的團隊更資深一些，在美國能夠看到不一樣的人，看到不一樣的項目。”

而在微軟的10年時間里，關濤也關注到了國內以BAT為代表的本土企業，他們發展的很好，而且有更高的加速度……

*西雅圖分部第22號員工
10年后的回歸，面對更多的挑戰*

“當時海外辦公室剛建起來，我是阿里西雅圖分部的第22號員工。”

“在微軟10年，國內是什么情況？”好奇心不斷膨脹，于是在一次偶然的機會，關濤跳去了阿里，成為了阿里巴巴通用計算平臺MaxCompute團隊里的一員。這是2016年1月。

MaxCompute的前身是ODPS，阿里內部統一的大數據平臺，目前99%的數據存儲以及95%的計算能力都在這個平臺上產生，如果把阿里巴巴集團的數據體系比作航母戰斗群，那么MaxCompute就是中間的航空母艦。

面對這樣一個已經發展了近6年的相對成熟、體量極為龐大的平臺，挑戰非常多。而2016年1月入職阿里，2016年年會上就接過了MaxCompute的掌舵者位置，從0到1已經做完了，如何做到從1到10？留給關濤的時間并不多。

他認為，大型系統逐步發展，是一個不斷自我進化的過程，大數據系統也不例外。

微軟的經歷給了他一些幫助：包括同樣都是大數據引擎（規模上有較大差異），之前的技術和工程經驗都能復用。而豐富的跨國技術團隊管理經驗也讓關濤更加適應阿里的工作。

*從MaxCompute1.0到MaxCompute2.0
“我們是在飛行的飛機上換引擎”*

關濤回憶：“當時進來的時候，MaxCompute1.0 其實是在一個技術的成熟期上，承接了阿里巴巴內部和阿里云的核心業務，而引擎升級有技術風險和問題（我們稱為Regression，包括功能和性能的）。為了保證對上層透明，我們先做了一個框架升級，支持把引擎的不同版本同時部署在線上，一點一點地把流量切過來，同時觀察效果。”之后再進行引擎層面的大手術。

有點像是“在飛行的飛機上換引擎”。

如今的MaxCompute2.0相較于1.0版本，規模達到近10萬臺，性能提升超過1倍以上，每年為阿里巴巴節省預算超過20億，同時也讓阿里的大數據引擎可以在未來3-5年架構上有個相對好的布局。

技術團隊如何管理

關濤的看法是：技術管理者歸根結底還是一個管理者。

1、首先考慮的不是自己要做什么事情而是幫助團隊做什么事情，更多的有一種“利他”的責任感。

2、技術前瞻性，技術團隊管理者是要帶著團隊有目標地、正確地往前走，把握未來方向非常重要。

3、招聘層面，思考如何招到合適的人，如何進行人才布局。現在是人才在哪辦公地點就在哪的階段。

從大數據角度看阿里雙十一

要支持好雙十一，先從兩個統一說起（數據統一和資源統一）。

• 數據具有1+1大于2的特性，不同的數據融合計算能產生更大的價值。而關鍵就在于如何把數據都打通。

幾年前阿里巴巴建設中臺，把內部所有的數據放在一起（物理上分布在多地的近10萬臺服務器上，但邏輯上統一，數據的分布和調度對用戶透明），讓豐富的數據幫助產品、業務前進。

• 資源的統一化：把所有機器放在一個大的資源池里（內部稱為混布項目），資源調度系統打通，對于機器的效率優化和整個系統的容災都有非常大的幫助。

做大數據的都了解，數據可以3年翻5倍，機器卻不行，否則成本太高，不現實。而利用已有的服務器進行混合部署，“這也是近一年，我們重點投資的一個項目，也就是把不同BU、不同種類的機器部署在同一個資源池中。”
?

有了這兩個統一架構的前提，雙十一在洪峰來臨的時候，可以選擇把不那么重要的工作先停掉（在百萬級別的作業中基于優先級和依賴做調度），讓這些機器都用來支撐洪峰。洪峰過后，又把機器主力轉移到計算上，把需要的計算盡快地輸出來。

今年雙十一，大數據集群在流量洪峰最高的幾個小時，通過彈性支持了超過1/4的交易業務流量。

不增加棋子，僅依靠挪動棋盤上的子，就完成布局守住將軍。當然，在此之前，團隊把MaxCompute已經從1.0版本切到了2.0版本，性能的提升也是支持雙十一數據量的關鍵。

在硬件只增加不到三分之一的基礎上，處理數據相較去年翻了一番，達到單日處理600PB的規模。可以說，MaxCompute在這一戰役中發揮得不錯，甚至比去年更為優秀。

?

**未來：云化、新硬件、非結構化計算、非關系型計算、AI是趨勢
DBA或將被淘汰？**

去年的時候，原阿里云總裁胡曉明說：“互聯網的云計算競爭是世界寡頭經濟的全面競爭，在我看來，就是杭州和西雅圖的競爭。誰擁抱技術，誰就擁抱未來。”場主深以為然。

關濤認為：目前云計算已經從互聯網企業向傳統企業蔓延，例如杭州的城市大腦和“最多跑一次“項目，是2G（To Government）的項目。還有基于工業大腦的工業4.0項目等。

從目前的市場態度來看，企業或許可以更加開放一些，歡迎和擁抱這種技術變化，完成自我的數字化轉型。“云計算不會是寡頭反而會是普惠”，關濤說。
?

前瞻話題：大數據處理領域，未來程序員應該關注什么東西？

1、 新硬件的發展

計算層面越來越與新硬件的創新緊密結合，硬件會帶來平臺革命。例如芯片類的CPU（AVX、SIMD）、ARM眾核架構、GPU，FPGA，ASIC，存儲類的NVM、SSD、SRM，網絡類的智能網卡和RDMA等新硬件的發展，新硬件與軟件的配合是值得關注的發展方向。

2、 非關系型計算領域（圖計算）有很多機會

大數據現在還是在關系型的處理層面，包括流和批都是基于關系型數據的計算，事實上，現在非關系的計算越來越流行了，包括知識圖譜、畫像等越來越有價值，這些數據組織不是關系型表達，而是以點邊的形式用圖的方式表達，更符合物理抽象，比如人和貨的關系，在風控層面，知識圖譜層面，用來描述物理實體的關系更合適。

明年初，將會推出MaxCompute的圖計算系統MaxGraph，支持圖存儲、查詢、模式匹配和GraphEmbedding等機器學習運算。

3、 非結構化數據將變成大數據的主流

越來越多的短視頻、圖片、語音類數據，并隨著IoT的發展，可能占據80%的數據量，由于這類數據的特性在于結構各不相同，且數據非常大但是單位價值不高（相比傳統結構化數據），如何快速高效的解析和處理非結構化數據，是計算平臺的關鍵挑戰。

去年的時候MaxCompute發布了一個非結構化數據處理模塊，能夠用戶自定義的方式處理包括視頻音頻在內的數據。

4、 Al for Everything（also for BigData）

DBA或將被淘汰？

大數據的特點是大，不僅僅是包括數據的處理規模，還包括了整個的海量數據的管理和優化。傳統數據庫領域依靠DBA人力去管理的模式將不再適用。

用Al優化數據分布、數據管理、做計算優化和成本優化（例如自動SubQuery合并，智能索引建立等）。“讓大數據無人駕駛”，這也是未來的趨勢。
?

?

注：想了解更多關老板和MaxCompute技術團隊小伙伴在做的阿里巴巴大數據計算服務MaxCompute，可以加入社群一起交流。

原文鏈接
本文來自養碼場專訪，轉發需養碼場授權。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的80后阿里P10，“关老板”如何带着MaxCompute一路升级？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。