阿里云开源的Blink，计算能力很疯狂：一眨眼，全部都算好！
全世界只有3.14 %?的人關注了
數據與算法之美
前兩天，阿里云宣布開源“計算王牌”——實時計算平臺Blink，回饋給ApacheFlink社區。官方稱，計算延遲已經降到毫秒級：瀏覽網頁的時候，你只是眨了一下眼睛，但在淘寶、天貓處理的信息已經刷新了17億次。
DataArtisans（Flink創始公司）的 CTO Stephan Ewen還興奮地表示：“阿里巴巴是Flink最大的貢獻者之一，很高興阿里能將內部優化的Flink版本開源給社區，讓開發者享受到更先進的計算能力。”
那么實時計算到底是什么呢？
隨著互聯網的發展，大數據量爆發給企業帶來了很大的業務壓力，需要有高吞吐、低延遲的大數據計算解決方案服務自己的大規模數據業務場景。
傳統的計算方式是把數據按照一定的時間間隔保存下來，再進行計算，雖然這個時間間隔被不斷縮短，但還是有一定的問題。比如可能造成網購時的“超賣”。
2004年，Google的三篇論文開啟了離線大數據處理的篇章，其中MapReduce被各大公司作為數據處理的主要方案，但PB規模數據計算是MapReduce難以逾越的瓶頸。
此后Spark發展至今，用批處理方式將大數據計算帶入了分鐘級的反應延遲，但在動態調整、事物機制、延遲性、吞吐量等方面并不優秀。
如今，流式主導的分布式計算正在主導大數據計算引擎將企業帶入近乎實時數據環境，代表就是flink，基于流來模擬批，在技術上有更好的擴展性。
Flink早期起源于德國柏林工業大學的一個研究項目Stratosphere，并于2014年4月捐獻給Apache軟件基金會，同時重新定位品牌為Flink，經過8個月孵化期，在2014年12月成功從Apache軟件基金會畢業，成為Apache頂級項目，從此開始在大數據領域航行。
2015年的時候，Filnk幾乎沒有人知道，更沒有人大規模使用。但在同年的大數據峰會Hadoop Summit上已經有聲音說：感覺Flink出來之后，Hadoop就顯得不怎么需要了……
阿里是全球第一批使用Flink做大數據計算引擎研發的公司，2015年就引入內部，但最早Flink只能支持小流量互聯網場景的數據處理。
阿里覺得Flink很有潛力，決定進行改造，并把這個內部版本取名Blink，是英文眨眼的意思：“一眨眼，所有東西都計算好了！”
2016年，阿里和DA的創始人Kostas 和Stephan在當年的Hadoop Summit大會上做了唯二的兩場Flink演講。
?
Kostas提前看到了議程，感到相見恨晚，主動聯系了阿里，希望阿里能用團隊研究的成果影響社區。
?
阿里負責人深受感動：“從那時候開始就覺得，我們不僅得把阿里內部的業務做好，還要為Flink社區做貢獻，把Flink社區做好。”
?
就這樣，阿里跟組織“接上了頭”，成為了Flink社區的核心成員，也成為Flink后來欣欣向榮的關鍵。
2016年同年，阿里開始嘗試：讓實時計算支撐“雙11”上的實時機器學習任務。雙11當天，數億人在淘寶天貓搜索商品，他們的每次查看，點擊，都會影響個性化的智能推薦，在下一秒就能看到為自己量身定做的寶貝推薦。而這背后的實時計算，都由 Blink 來支撐。
?
2017年雙11，Blink又成功支持全集團（阿里巴巴、阿里云、菜鳥）所有交易數據的實時計算任務，也驗證了Flink可以通過改造支持企業大規模數據計算的場景。
Blink最初上線只有數百臺服務器，現在規模已達上萬臺，這樣的規模在全球范圍內也是屈指可數。基于Blink，內部積累起來的狀態數據已達PB級；每天在Blink的計算平臺上，處理的數據已經超過萬億條；在峰值期間可以承擔每秒超過4.72億次的訪問，最典型的應用場景是阿里巴巴雙11大屏。
經過最近4年的持續快速發展，Apache Flink社區已經培養出42名Committer和19名PMC Member，不斷加入的新鮮血液為Apache Flink社區持續貢獻代碼，并推動社區健康快速的發展。
?
其中，阿里為Flink社區貢獻近20萬行代碼改動，參與建立了首個Flink中文社區。
過去幾年，Flink的采用量增長了125%。
?
國內，BAT三家中阿里巴巴和騰訊都已經完全擁抱了Flink。美團、滴滴和字節跳動三家新興互聯網企業也都以Flink作為主流技術方向開始建設：美團的實時計算集群也已經突破4000臺規模，字節跳動的Flink生產集群規模更是已經令人驚訝的已經超過了10000臺規模 。
?
國際上，Uber、Netflix等大企業也都已經用上了Flink，還有法國第三大移動通信運營商布衣格電信、全球第二大B2C在線零售商Otto、歐洲領先的在線時尚平臺zalando等。
看到Blink開源的消息后，開源圈熱議，相信計算正在進入一個更快、更好的時代！
版權歸原作者所有，轉載僅供學習使用，不用于任何商業用途，如有侵權請留言聯系刪除，感謝合作。
我們聯合「機械工業出版社、圖靈新知、人民郵電出版社、華東師范大學出版社、科學出版社」給大家精心挑選了?100?本優秀數學讀物，免費?送給大家。包含：
假如你想參與，在后臺回復「錦鯉」即可，數據與算法之美“史上最慘錦鯉”正在等你。
活動時間：1月30號至2月11號
結果公布時間：2月11號
精品課程推薦：
選購數學科普正版讀物
嚴選“數學思維好物”
送給孩子的益智禮物? ?| ??辦公室神器
算法工程師成長閱讀? ?| ??居家高科技
理工科男女實用型禮物精選?
----點擊頭像關注----
超級數學建模
數據與算法之美
少年數學家
數銳學堂
驚喜醬（個人號）
玩酷屋COOL
總結
以上是生活随笔為你收集整理的阿里云开源的Blink，计算能力很疯狂：一眨眼，全部都算好！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 还在集什么五福，史上最惨锦鲤再次来袭！奖
- 下一篇： 有趣程序和让人捧腹大笑的注释，你的注释还