阿里云發布大數據產品ODPS 6小時處理100PB數據

阿里云發布ODPS 可分析PB級海量數據

　　新浪科技訊 7月8日下午消息，阿里云計算發布大數據產品——ODPS。通過ODPS在線服務，小型公司花幾百元即可分析海量數據。ODPS可在6小時內處理100PB數據，相當于1億部高清電影。此前，全球掌握這種能力的公司僅有Google、亞馬遜(311.39, -3.98, -1.26%)等少數幾家。

　　阿里云ODPS團隊在一封公開信《人人都可以成為BAT》中表示：工業革命后的200多年里，人類對物理資源的利用登峰造極，對數據資源的利用卻仍處于起步階段。Google、Facebook(72.91, -3.00, -3.95%)、阿里巴巴(滾動資訊)等互聯網公司先行一步，觸碰到了大數據的魅力。然而，人類擁有的絕大部分數據還無法產生價值。

　　采用傳統方案處理大規模數據，一般得耗資數千萬自建數據中心，請專業技術人員維護運作。一旦數據總量超過100TB，技術挑戰會非常大。Hadoop開源運動降低了這一成本，不過自建一個像樣的Hadoop集群，仍然需要上百萬的起步資金。專業的Hadoop人才則更加稀缺。

　　相比而言，使用ODPS的成本和門檻則低得多。ODPS采取按量收費的模式，目前定價0.3元/GB，即開即用，一個月內免費。根據大部分公司的數據量來測算，一般每月只需花費數百元。

　　在對外商用之前，ODPS只是阿里巴巴內部秘密使用。阿里小貸最先將ODPS應用到商業領域。如今，超過36萬人從阿里小貸借款，最小貸款額為1元，并實現3分鐘申請、1秒放款、0人工干預。要做到這一點，阿里小貸每天得處理30PB數據，包括店鋪等級、收藏、評價等800億個信息項，運算100多個數據模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。阿里小貸每筆貸款成本3毛錢，不到普通銀行的1/1000。

　　據悉，淘寶、支付寶等阿里巴巴最核心的數據業務，都運行在ODPS平臺。比如阿里媽媽廣告的核心算法，點擊預測模型的訓練等。ODPS商用，意味著阿里云將這種大數據處理能力對外開放，此舉將大幅降低社會創新成本。

　　目前，全球提供類似服務的僅有Google和亞馬遜，國內尚無同類產品可供比較。阿里云方面表示，ODPS將比Google BigQuery更強大，不僅支持更豐富的SQL語法，還將提供MapReduce編程模型和機器學習建模能力，可以服務更多應用場景。(木南)

　　以下為阿里云ODPS團隊公開信《人人都可以成為BAT》全文：

　　阿里云計算最重要的一款產品——ODPS，正式開放商用。從今天起，花個幾百塊錢，人人都能來玩大數據。

　　簡單來說，ODPS(Open Data Processing Service)是一項Web服務，大家不用花大錢建數據中心，就能分析海量數據。我們測過，100PB的數據任務可在6小時內跑完。這個數據量相當于1億部高清電影。

　　工業革命后的200多年里，人類對物理資源的利用登峰造極。第一次信息革命過去70年了，我們對數據資源的利用卻只是剛開了頭。Google、Facebook、阿里巴巴等先行一步，摸到了大數據的冰山一角。然而，人類擁有的大部分數據，還無法產生價值。

　　如何讓數據產生價值？先得擁有大規模處理能力，然后才是挖掘、算法和分析。傳統的做法是這樣的：租個機房，買一堆昂貴的設備搭建數據倉庫，再請一幫技術人員來維護運轉。一旦觸發bug，或者當數據總量超過100TB時，你的工程師們可能會被這些麻煩搞崩潰。

　　Hadoop開源系統很偉大，大大降低了成本。阿里是中國玩Hadoop玩得最好的幾家公司之一，Hadoop支撐了淘寶、支付寶早期業務的快速發展。不過，自建一個像樣的Hadoop集群，得百萬起步資金，專業的Hadoop人才更是稀缺。門檻還是太高。

　　有沒有更好的方案？從2009年初，寫下“飛天”第一行代碼時，我們就堅信這一方案存在。我們用了五年時間，寫下250萬行代碼，終于在自主研發的“飛天”平臺上成功搭建ODPS。我們把數據海洋里的“水”灌進ODPS，設定好一套參數，擰開水龍頭，出來的就是“鮮榨果汁”！

　　100年前，福特推出了全球第一條流水生產線。一個個零部件扔進流水線，90分鐘后，一輛嶄新的汽車擺在面前。不知道福特工程師們當時是怎樣的心情。當我們擰開ODPS的水龍頭時，感受大抵如此。這個比喻還不完全恰當，福特生產線只為福特服務，一條生產線也只能生產一種車型。而ODPS任何人都可以來用，水龍頭里流出來的“果汁”，隨著原始數據和算法的改變可以千變萬化。

　　我們來看看ODPS都可以榨哪些“果汁”吧。

　　ODPS之前一直在阿里內部試用。第一個“小白鼠”是阿里小貸。你見過敢貸1塊錢給你的銀行嗎？如今，超過36萬人從阿里小貸借款，最小貸款額1塊錢，并實現3分鐘申請、1秒放款、0人工干預。要做到這一點，阿里小貸每天得處理30PB數據，包括店鋪等級、收藏、評價等800億個信息項，運算100多個數據模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。另外，阿里小貸每筆貸款成本3毛錢。什么？你問普通銀行的貸款成本？先乘個1000再說。

　　華大基因，2003年國內抗SARS研究的主力軍。去年，我們邀請華大在ODPS上試了下基因測序，耗時不到傳統方式的十分之一。2010年，歐洲E.coli污染危機，測序和組裝耗時兩天以上。如果用ODPS，只要幾個小時甚至幾十分鐘。一旦未來真有生物危機爆發，人類可以贏得寶貴的破譯時間。

　　這么高精尖的領域你可能覺得太遙遠。說說當前最火的世界杯吧。Google拿英國體育數據提供商Opta Sports的數據，在BigQuery上跑了跑，成功預測了本屆世界杯8強名單。ODPS是一款跟Google BigQuery類似的產品，如果哪位有數據，也可以來算一算接下來的比賽。

　　公共領域的數據挖掘，可以用ODPS嗎？當然！結合中國氣象局的精準預報數據，高德(20.9, 0.00, 0.00%)地圖不久后就能告訴你：“前方道路已嚴重積水，您的車輛駛入可能會遭水淹，建議繞道行駛。”如今，每盒藥品上都有一張電子身份證，從生產、流通、儲存、配送、銷售到使用，全過程的數據都跑在ODPS上，一旦發現問題藥品，監管部門可以立即采取措施。我們期待未來每一桶油、每一道菜的數據都跑在ODPS上，食品安全問題需要通過創新的方式來解決。

　　生產電飯煲的工廠，應該跟ODPS沒什么關系吧？別說，未來還真可能有關系。手機、電視、手表、汽車、空調……這些工業時代的經典產品，現在都變成了互聯網終端。誰說電飯煲、鞋子、衣服不會呢？如果未來的制造工廠都變成互聯網公司，數據將成為最基本的生產要素。你不懂算法、不會建模、不會分析，沒關系，那些有數據分析能力的公司會幫你做。

　　眼下，阿里巴巴各項數據業務都在用ODPS“榨果汁”，比如淘寶在算你最中意哪個淘女郎，天貓在算你什么時候想吃車厘子，菜鳥在算卡車走哪條路可能會被雷劈，支付寶在算你何時會從屌絲變成高富帥。如果大家也想“榨果汁”，歡迎來試。ODPS的水龍頭就裝在阿里云官網aliyun.com上，一個月內免費。

　　The World Is Flat. 從某種意義上而言，人人都可以成為BAT，哪怕你的公司只有幾號人。我們希望，在技術這件事情上，大家變得更加平等！

　　阿里云ODPS團隊

　　2014年7月8日

總結

以上是生活随笔為你收集整理的阿里云发布大数据产品ODPS 6小时处理100PB数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。