周博通 | 阿里开源首个 DL 框架、4000台服务器真实数据集;明年1月开源Blink
阿里開源首個(gè)深度學(xué)習(xí)框架 X-Deep Learning
以深度學(xué)習(xí)為核心的人工智能技術(shù),過去的幾年在語音識(shí)別、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域獲得了巨大的成功,其中以GPU為代表的硬件計(jì)算力,以及優(yōu)秀的開源深度學(xué)習(xí)框架起到了巨大的推動(dòng)作用。
盡管以TensorFlow、PyTorch、MxNet等為代表的開源框架已經(jīng)取得了巨大的成功,但是當(dāng)我們把深度學(xué)習(xí)技術(shù)應(yīng)用在廣告、推薦、搜索等大規(guī)模工業(yè)級(jí)場(chǎng)景時(shí),發(fā)現(xiàn)這些框架并不能很好的滿足我們的需求。
X-DeepLearning正是面向這樣的場(chǎng)景設(shè)計(jì)與優(yōu)化的工業(yè)級(jí)深度學(xué)習(xí)框架,經(jīng)過阿里巴巴廣告業(yè)務(wù)的錘煉,XDL在訓(xùn)練規(guī)模和性能、水平擴(kuò)展能力上都表現(xiàn)出色,同時(shí)內(nèi)置了大量的面向廣告/推薦/搜索領(lǐng)域的工業(yè)級(jí)算法解決方案。
X-DeepLearning(包括核心訓(xùn)練引擎及算法解決方案)的代碼已經(jīng)在Github開源,地址如下:
https://github.com/alibaba/x-deeplearning
戳此看:XDL的設(shè)計(jì)理念及關(guān)鍵技術(shù)
阿里開源4000臺(tái)服務(wù)器真實(shí)數(shù)據(jù)集
2015 年,阿里巴巴的數(shù)據(jù)中心,將延遲不敏感的批量離線計(jì)算任務(wù)和延遲敏感的在線服務(wù)部署到同一批機(jī)器上運(yùn)行,讓在線服務(wù)用不完的資源充分被離線使用以提高機(jī)器的整體利用率。
經(jīng)過 3 年多的試驗(yàn)論證、架構(gòu)調(diào)整和資源隔離優(yōu)化,目前這個(gè)方案已經(jīng)走向大規(guī)模生產(chǎn)。我們通過混部技術(shù)將集群平均資源利用率從 10% 大幅度提高到 45%。另外,通過各種優(yōu)化手段,可以讓更多任務(wù)運(yùn)行在數(shù)據(jù)中心,將“雙11”平均每萬筆交易成本下降了 17%。
為了讓有興趣的學(xué)生以及相關(guān)研究人員,可以從數(shù)據(jù)上更加深入地理解大規(guī)模數(shù)據(jù)中心,我們特別發(fā)布了這份數(shù)據(jù)集(Alibaba Cluster Data V2018)。數(shù)據(jù)集中記錄了某個(gè)生產(chǎn)集群中服務(wù)器以及運(yùn)行任務(wù)的詳細(xì)情況。我們希望這波數(shù)據(jù)的發(fā)布可以拉近我們與學(xué)術(shù)研究、業(yè)界同行之間的距離,促進(jìn)行業(yè)的進(jìn)一步發(fā)展。
下載地址:
https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md
戳此看:世界級(jí)數(shù)據(jù)中心的深度解讀
阿里巴巴內(nèi)部 Blink 將于明年1月開源
今年,實(shí)時(shí)流計(jì)算技術(shù)開始步入主流,實(shí)時(shí)流計(jì)算引擎和 API 諸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持續(xù)火爆。阿里巴巴自 2015 年開始改進(jìn) Flink,并創(chuàng)建了內(nèi)部分支 Blink,目前服務(wù)于阿里集團(tuán)內(nèi)部搜索、推薦、廣告和螞蟻等大量核心實(shí)時(shí)業(yè)務(wù)。
12 月 20 日, Flink Forward China 峰會(huì)在北京國(guó)家會(huì)議中心召開。在大會(huì)的主題演講上,阿里巴巴集團(tuán)副總裁周靖人宣布,阿里巴巴內(nèi)部 Flink 版本 Blink 將于 2019 年 1 月正式開源!我們希望通過 Blink 開源進(jìn)一步加深與 Flink 社區(qū)的聯(lián)動(dòng),并推動(dòng)國(guó)內(nèi)更多中小型企業(yè)使用 Flink。
持續(xù)關(guān)注阿里技術(shù)公眾號(hào),我們將第一時(shí)間帶來 Blink 開源的詳細(xì)信息。
猜你想了解Blink:
Apache Flink 干貨合集打包好了,速來下載
阿里巴巴為什么選擇Apache Flink?
Flink 的新方向在哪里?
精心籌備30個(gè)月,阿里首家未來酒店FlyZoo Hotel正式開業(yè)
全場(chǎng)景人臉識(shí)別住宿、智能梯控、機(jī)器人調(diào)酒、機(jī)器人送拖鞋……近日,阿里巴巴在杭州開的首家未來酒店FlyZoo Hotel(中文名字“菲住布渴”)終于迎來開業(yè)。
“菲住布渴”酒店依托阿里強(qiáng)大的技術(shù)與生態(tài)支持,實(shí)現(xiàn)了全場(chǎng)景身份識(shí)別響應(yīng)和大面積的AI智能服務(wù)。住客從大堂到電梯再到房間,乃至餐廳、健身房等場(chǎng)地,都涵蓋人臉識(shí)別、語音控制、智能機(jī)器人等黑科技服務(wù)。酒店無前臺(tái),大堂有服務(wù)大使,可以隨時(shí)響應(yīng)住客的需要。
如果住客需要多些護(hù)膚品、缺雙拖鞋、叫個(gè)餐什么的,也不用再麻煩撥打前臺(tái)電話,通過天貓精靈就行。收到指令后,后臺(tái)的工作人員會(huì)把東西準(zhǔn)備好,再讓機(jī)器人為您送貨上門。除此之外,在餐廳,給客人上菜的也是機(jī)器人服務(wù)員;去大堂演藝吧,機(jī)器人調(diào)酒師,還會(huì)給住客制作多種不同的酒類和咖啡。
這些沉淀下的能力將很快有機(jī)會(huì)賦能到相關(guān)行業(yè)。而坐落在親橙里的這座未來酒店,也將同身邊的智慧門店、新餐飲等一道,共同在這個(gè)新零售體驗(yàn)中心,為人們帶來關(guān)于未來的更多想象。
你有一封阿里師兄的來信
隨著新一年腳步的臨近,不少新同學(xué)收到了阿里2019校招的Offer。將要告別校園生活的,即將在阿里開啟新的旅程,相信同學(xué)們一定有很多的期待和好奇。
這次,我們邀請(qǐng)了多位阿里技術(shù)大牛:阿里云人工智能中心負(fù)責(zé)人華先勝、螞蟻金服副CTO胡喜、達(dá)摩院數(shù)據(jù)庫首席科學(xué)家李飛飛、阿里云智能事業(yè)群研究員小邪,為所有新同學(xué)寫了一封別致的信。希望能在這個(gè)冬天,會(huì)為你送去一份暖意。期待我們一起開啟更好的2019。
傳送門:
你有一封來自阿里師兄的來信,請(qǐng)查收
原文發(fā)布時(shí)間為:2018-12-24
本文作者: 今晚平安夜哦
本文來自云棲社區(qū)合作伙伴“ 阿里技術(shù)”,了解相關(guān)信息可以關(guān)注“ 阿里技術(shù)”。
總結(jié)
以上是生活随笔為你收集整理的周博通 | 阿里开源首个 DL 框架、4000台服务器真实数据集;明年1月开源Blink的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: AD中PCB布局与布线的一般原则
- 下一篇: 强大简洁的免费视频工具,老版快剪辑