全世界只有3.14 %?的人關(guān)注了

數(shù)據(jù)與算法之美

前兩天，阿里云宣布開(kāi)源“計(jì)算王牌”——實(shí)時(shí)計(jì)算平臺(tái)Blink，回饋給ApacheFlink社區(qū)。官方稱(chēng)，計(jì)算延遲已經(jīng)降到毫秒級(jí)：瀏覽網(wǎng)頁(yè)的時(shí)候，你只是眨了一下眼睛，但在淘寶、天貓?zhí)幚淼男畔⒁呀?jīng)刷新了17億次。

DataArtisans（Flink創(chuàng)始公司）的 CTO Stephan Ewen還興奮地表示：“阿里巴巴是Flink最大的貢獻(xiàn)者之一，很高興阿里能將內(nèi)部?jī)?yōu)化的Flink版本開(kāi)源給社區(qū)，讓開(kāi)發(fā)者享受到更先進(jìn)的計(jì)算能力?！?/span>

那么實(shí)時(shí)計(jì)算到底是什么呢？

隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)量爆發(fā)給企業(yè)帶來(lái)了很大的業(yè)務(wù)壓力，需要有高吞吐、低延遲的大數(shù)據(jù)計(jì)算解決方案服務(wù)自己的大規(guī)模數(shù)據(jù)業(yè)務(wù)場(chǎng)景。

傳統(tǒng)的計(jì)算方式是把數(shù)據(jù)按照一定的時(shí)間間隔保存下來(lái)，再進(jìn)行計(jì)算，雖然這個(gè)時(shí)間間隔被不斷縮短，但還是有一定的問(wèn)題。比如可能造成網(wǎng)購(gòu)時(shí)的“超賣(mài)”。

2004年，Google的三篇論文開(kāi)啟了離線大數(shù)據(jù)處理的篇章，其中MapReduce被各大公司作為數(shù)據(jù)處理的主要方案，但PB規(guī)模數(shù)據(jù)計(jì)算是MapReduce難以逾越的瓶頸。

此后Spark發(fā)展至今，用批處理方式將大數(shù)據(jù)計(jì)算帶入了分鐘級(jí)的反應(yīng)延遲，但在動(dòng)態(tài)調(diào)整、事物機(jī)制、延遲性、吞吐量等方面并不優(yōu)秀。

如今，流式主導(dǎo)的分布式計(jì)算正在主導(dǎo)大數(shù)據(jù)計(jì)算引擎將企業(yè)帶入近乎實(shí)時(shí)數(shù)據(jù)環(huán)境，代表就是flink，基于流來(lái)模擬批，在技術(shù)上有更好的擴(kuò)展性。

Flink早期起源于德國(guó)柏林工業(yè)大學(xué)的一個(gè)研究項(xiàng)目Stratosphere，并于2014年4月捐獻(xiàn)給Apache軟件基金會(huì)，同時(shí)重新定位品牌為Flink，經(jīng)過(guò)8個(gè)月孵化期，在2014年12月成功從Apache軟件基金會(huì)畢業(yè)，成為Apache頂級(jí)項(xiàng)目，從此開(kāi)始在大數(shù)據(jù)領(lǐng)域航行。

2015年的時(shí)候，Filnk幾乎沒(méi)有人知道，更沒(méi)有人大規(guī)模使用。但在同年的大數(shù)據(jù)峰會(huì)Hadoop Summit上已經(jīng)有聲音說(shuō)：感覺(jué)Flink出來(lái)之后，Hadoop就顯得不怎么需要了……

阿里是全球第一批使用Flink做大數(shù)據(jù)計(jì)算引擎研發(fā)的公司，2015年就引入內(nèi)部，但最早Flink只能支持小流量互聯(lián)網(wǎng)場(chǎng)景的數(shù)據(jù)處理。

阿里覺(jué)得Flink很有潛力，決定進(jìn)行改造，并把這個(gè)內(nèi)部版本取名Blink，是英文眨眼的意思：“一眨眼，所有東西都計(jì)算好了！”

2016年，阿里和DA的創(chuàng)始人Kostas 和Stephan在當(dāng)年的Hadoop Summit大會(huì)上做了唯二的兩場(chǎng)Flink演講。

?

Kostas提前看到了議程，感到相見(jiàn)恨晚，主動(dòng)聯(lián)系了阿里，希望阿里能用團(tuán)隊(duì)研究的成果影響社區(qū)。

?

阿里負(fù)責(zé)人深受感動(dòng)：“從那時(shí)候開(kāi)始就覺(jué)得，我們不僅得把阿里內(nèi)部的業(yè)務(wù)做好，還要為Flink社區(qū)做貢獻(xiàn)，把Flink社區(qū)做好?！?/span>

?

就這樣，阿里跟組織“接上了頭”，成為了Flink社區(qū)的核心成員，也成為Flink后來(lái)欣欣向榮的關(guān)鍵。

2016年同年，阿里開(kāi)始嘗試：讓實(shí)時(shí)計(jì)算支撐“雙11”上的實(shí)時(shí)機(jī)器學(xué)習(xí)任務(wù)。雙11當(dāng)天，數(shù)億人在淘寶天貓搜索商品，他們的每次查看，點(diǎn)擊，都會(huì)影響個(gè)性化的智能推薦，在下一秒就能看到為自己量身定做的寶貝推薦。而這背后的實(shí)時(shí)計(jì)算，都由 Blink 來(lái)支撐。

?

2017年雙11，Blink又成功支持全集團(tuán)（阿里巴巴、阿里云、菜鳥(niǎo)）所有交易數(shù)據(jù)的實(shí)時(shí)計(jì)算任務(wù)，也驗(yàn)證了Flink可以通過(guò)改造支持企業(yè)大規(guī)模數(shù)據(jù)計(jì)算的場(chǎng)景。

Blink最初上線只有數(shù)百臺(tái)服務(wù)器，現(xiàn)在規(guī)模已達(dá)上萬(wàn)臺(tái)，這樣的規(guī)模在全球范圍內(nèi)也是屈指可數(shù)?；贐link，內(nèi)部積累起來(lái)的狀態(tài)數(shù)據(jù)已達(dá)PB級(jí)；每天在Blink的計(jì)算平臺(tái)上，處理的數(shù)據(jù)已經(jīng)超過(guò)萬(wàn)億條；在峰值期間可以承擔(dān)每秒超過(guò)4.72億次的訪問(wèn)，最典型的應(yīng)用場(chǎng)景是阿里巴巴雙11大屏。

經(jīng)過(guò)最近4年的持續(xù)快速發(fā)展，Apache Flink社區(qū)已經(jīng)培養(yǎng)出42名Committer和19名PMC Member，不斷加入的新鮮血液為Apache Flink社區(qū)持續(xù)貢獻(xiàn)代碼，并推動(dòng)社區(qū)健康快速的發(fā)展。

?

其中，阿里為Flink社區(qū)貢獻(xiàn)近20萬(wàn)行代碼改動(dòng)，參與建立了首個(gè)Flink中文社區(qū)。

過(guò)去幾年，Flink的采用量增長(zhǎng)了125%。

?

國(guó)內(nèi)，BAT三家中阿里巴巴和騰訊都已經(jīng)完全擁抱了Flink。美團(tuán)、滴滴和字節(jié)跳動(dòng)三家新興互聯(lián)網(wǎng)企業(yè)也都以Flink作為主流技術(shù)方向開(kāi)始建設(shè)：美團(tuán)的實(shí)時(shí)計(jì)算集群也已經(jīng)突破4000臺(tái)規(guī)模，字節(jié)跳動(dòng)的Flink生產(chǎn)集群規(guī)模更是已經(jīng)令人驚訝的已經(jīng)超過(guò)了10000臺(tái)規(guī)模 。

?

國(guó)際上，Uber、Netflix等大企業(yè)也都已經(jīng)用上了Flink，還有法國(guó)第三大移動(dòng)通信運(yùn)營(yíng)商布衣格電信、全球第二大B2C在線零售商O(píng)tto、歐洲領(lǐng)先的在線時(shí)尚平臺(tái)zalando等。

看到Blink開(kāi)源的消息后，開(kāi)源圈熱議，相信計(jì)算正在進(jìn)入一個(gè)更快、更好的時(shí)代！

版權(quán)歸原作者所有，轉(zhuǎn)載僅供學(xué)習(xí)使用，不用于任何商業(yè)用途，如有侵權(quán)請(qǐng)留言聯(lián)系刪除，感謝合作。

我們聯(lián)合「機(jī)械工業(yè)出版社、圖靈新知、人民郵電出版社、華東師范大學(xué)出版社、科學(xué)出版社」給大家精心挑選了?100?本優(yōu)秀數(shù)學(xué)讀物，免費(fèi)?送給大家。包含：

假如你想?yún)⑴c，在后臺(tái)回復(fù)「錦鯉」即可，數(shù)據(jù)與算法之美“史上最慘錦鯉”正在等你。

活動(dòng)時(shí)間：1月30號(hào)至2月11號(hào)

結(jié)果公布時(shí)間：2月11號(hào)

---

精品課程推薦：

選購(gòu)數(shù)學(xué)科普正版讀物

嚴(yán)選“數(shù)學(xué)思維好物”

送給孩子的益智禮物? ?| ??辦公室神器

算法工程師成長(zhǎng)閱讀? ?| ??居家高科技

理工科男女實(shí)用型禮物精選?

----點(diǎn)擊頭像關(guān)注----

超級(jí)數(shù)學(xué)建模

數(shù)據(jù)與算法之美

少年數(shù)學(xué)家

數(shù)銳學(xué)堂

驚喜醬（個(gè)人號(hào)）

玩酷屋COOL

總結(jié)

以上是生活随笔為你收集整理的阿里云开源的Blink，计算能力很疯狂：一眨眼，全部都算好！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。