摘要：隨著自媒體的發展，傳統媒體面臨著巨大的壓力和挑戰，新華智云運用大數據和人工智能技術，致力于為媒體行業賦能。通過媒體大數據開放平臺，將媒體行業全網數據匯總起來，借助平臺數據處理能力和算法能力，將有價值數據內容和能力開放給用戶。本文主要從新華智云數芯平臺，媒體行業數據特征，批流處理數據架構，以及通用的媒體大數據平臺能力等幾個方面介紹了如何基于MaxCompute做媒體大數據開放平臺建設。

演講嘉賓簡介：
李金波，新華智云首席數據官。負責阿里巴巴大數據通用計算平臺MaxCompute（原ODPS）框架架構。對高可用分布式系統設計開發有多年經驗。先后研發過阿里巴巴機器學習平臺在線預測系統和通用大數據計算平臺框架系統。

本次直播視頻精彩回顧，戳這里！https://yq.aliyun.com/live/796
以下內容根據演講嘉賓視頻分享整理而成。

本次的分享主要圍繞以下五個方面：

一、關于新華智云
二、數芯-媒體大數據開放平臺
三、媒體大數據平臺能力
四、Project依賴
五、幾點小提示

---

一、關于新華智云

新華智云是新華社與阿里巴巴合資成立的一家公司，主要面向運用大數據和人工智能技術，致力于為媒體行業賦能。隨著自媒體的發展，自媒體公司非常的火熱，如今日頭條，抖音等。對傳統媒體來說，面臨著巨大的壓力和挑戰。傳統媒體急切的希望互聯網的技術幫助他們賦能。

媒體大腦-數芯

媒體大腦是新華智云底層的產品品牌，數芯是媒體大腦基礎的數據平臺。數芯定位為媒體大數據開放平臺，平臺中包含了媒體行業所依賴的各種各樣的數據。數芯希望通過平臺本身的數據處理能力和算法加工，將挖掘的有價值數據內容和能力開放給上層用戶。目前，數芯包含了各種各樣的數據，涵蓋了400多萬互聯網站點，主要以中文站點為主，日增7千萬文章，包含微信公眾號，微博賬號，圖片以及多媒體來源等。將不同來源存儲在平臺中，之后對接數據，進行更多的加工和運用。“數據已經不再是一種成本，而是成為一種生產資料”，這句話在媒體行業更能夠有所感受。一篇新聞除了是新聞之外，還是一條數據，同時新聞本身又會衍化產生新聞。很多媒體公司利用互聯網技術獲得大量的新聞內容之后，輔助他們新聞的生成過程。數芯會將媒體數據從不同的源頭，不同供應商，以不同內容格式存儲到平臺中，進行數據清洗，結構化，加工等等一系列的操作之后，生成有價值的內容。如，這段時間之內媒體關注的熱點，互聯網上發生的事件，同時識別新聞和機構之間的關系，基于實體將各個渠道上的數據整合起來，為用戶提供統一的視圖。用戶可以看到信息的發酵過程，以及信息在什么地方傳播。

二、數芯-媒體大數據開放平臺

數芯是一個開放的大數據平臺，開放的點主要有三個方面。第一，數據的開放。任何數據進到數芯之后，都會在整個大數據處理的鏈條中做計算，內容結構化，加入標簽。同時基于用戶感興趣的數據范圍，做標簽的特征過濾，篩選用戶想要的數據。數芯幫助用戶了解互聯上的信息，了解互聯網上與自身相關的事件。第二，數芯提供智能能力的開放。用戶不管怎么努力，不可能獲取到互聯網上所有的數據；而且不可能每個公司都會自建內容大數據平臺，做數據分析，也不可能都配備算法工程師；而且公司的數據處理能力也不是足夠強；媒體大數據平臺可以幫助用戶將與他們有關的數據加工好，通過算法能力獲得用戶關心的信息。如用戶提供一個文章，數芯可以反饋這篇文章與誰相關，相同的文章在什么地方傳播，文章由誰編寫，發在什么地方等等信息。通過開放算法能力，幫助用戶做數據能力和算法能力的應用，提供文本反垃圾服務，互聯網內容結構化服務，文本內容實體識別服務，文本去重判定服務，圖像人物識別服務和圖像標簽化服務等等。第三，產品能力的開發，包含輿情監測能力，版權檢測，傳播分析等能力。

媒體數據特征

媒體大數據有三大特征，第一，媒體數據是非結構化性非常強。與傳統行業數倉最大的區別是媒體行業90%以上數據都是非結構化的，如文本，圖片，視頻等等。第二，數據來源多樣性。媒體行業數據有多種外部的數據源，它們有不同的數據提供的方式，提供不同的數據能力。所以必須要有強大的數據匯總能力才能將所有數據匯總在一起并服務好下游客戶。另外，數據效性要求非常高。媒體行業天然追逐新聞熱點，假如知道一個事件是潛在的熱點，媒體希望第一時間對熱點進行追蹤，報道和解讀。媒體機構希望通過數芯平臺，能夠最快的發現互聯網上發生的事情，發現熱點之后以最快的方式，將結構化后的數據給到用戶。

批流處理結合

基于媒體行業數據的特征，數芯平臺采取批，流結合的方式解決目前客戶和業務場景對數據的要求。批指的是大量的計算，基于平臺特征完成復雜的模型，算法訓練，長周期計算，文本實體識別，文本挖掘，借助批量的能力解決數據更深度，更大規模的加工。流指的是流式的計算，完成數據的清洗，結構化，輕計算和實時統計。出來一篇新聞，在整個新聞流傳的過程中實時的將信息處理好。目前數芯整體的流計算大概需要300毫秒，即一篇新聞從源頭過來，存儲到平臺，服務化出去中間需要經過300毫秒的時間。

批流結合的數據架構

數據從不同數據源過來，如API，OTS，ROS，log，file等，一方面數據要在實時計算當中做URL去重，正文結構化，標記來源，垃圾識別，實體識別和輕度的實時統計。另外基于MaxCompute，利用DataHub將數據存儲在批處理平臺中，由于流計算本身不做持久化存儲，所以所有數據都將存儲在MaxCompute上。數據存儲之后做主題建設，關系挖掘，知識圖譜計算，算法訓練。通過批流結合的的處理方式能夠滿足客戶對數據本身能力的需要。之后，給用戶提供搜索能力，大屏能力和BI能力等。


三、媒體大數據平臺能力

內容結構化

人們在網頁當中看到一篇新聞，而在數據庫當中新聞是按字段存儲的。比如，分為新聞標題，發布網站，時間，新聞來源，情感等等。平臺需要將新聞信息進行結構化，成為后續計算過程需要依賴的數據結構化字段。

主題構建

媒體行業會分主題建設數據。平臺會獲取到不同的數據源，不同類型的數據。這些數據不可能完全的結合在一起，數芯平臺會將所有數據分門別類的分成不同主題，按不同主題建設，存放和加工。媒體是一個非常復雜的行業，對各個行業的數據都是有所訴求，媒體需要挖掘很多不同行業的數據支撐新聞生產和報道。目前，數芯集中在媒體內在的數據，體育，金融，氣象等幾個主題。數芯一方面將不同的數據源匯總到平臺當中，另一方面數據進來之后，挖掘潛在的新聞點，生成選題策劃，幫助用戶做選題等等工作。

實體識別

實體識別對于媒體大數據來說是最基礎的能力。數芯目前積累的實體圍繞人，機構，地點等三類數據。新聞行業，媒體行業會圍繞某一個實體，關注與實體相關的數據能力。比如，很多公司會關注和自己相關的咨詢，關心這些新聞是正面還是負面，哪些機構會發正面的信息，哪些機構會發負面的信息等。只有當將大批量的數據匯集起來之后，才能做相關內容的分析。實體識別場景在媒體大數據領域是非常基礎的能力，首先，建立實體庫。同時，當有一篇新聞產生，數芯需要實時的識別新聞與哪些人，機構和地點相關。另外，數芯需要匯集實體之間關系，做實體關系圖譜。比如，很多品牌會瞄準自己的競爭對手，調整品牌戰略，實體關系圖譜對很多公司品牌運營的推廣有很大的幫助。

情感分析

情感分析也是媒體大數據平臺中比較通用的能力，當一篇新聞出來之后，用戶需要知道是情感上褒義還是貶義。信息數量少的信息可以人工判斷，但是如果每天有上千篇，上完篇的內容就無法通過人工來判斷。媒體行業的情感分析與學術上的情感分析有差異。目前，自媒體出來之后短文本的內容越來越多。短文本的情感分析和長文本的情感分析不同，以往都是采用同一個算法實現情感分析，但發現效果并不好。現在，數芯將情感分析場景分開，微博短文本的情感分析用Word2vec+LSTM，新聞類的長文本的情感分析用Word2vec+CNN+RNN。分開之后發現每一類情感分析的效果都有所提升。

內容去重

內容去重是媒體大數據平臺非常重要的一部分。去重能力是對于常見的新聞摘錄，編輯，刪減有準確的判重能力。一篇新聞并不是只由一個人寫，它會被很多機構和渠道所轉發。如何知道一篇新聞在哪些渠道被轉發，其實就是通過去重的方式實現的。通過從大量的渠道匯集數據后，平臺需要比對一篇新聞與之前哪篇新聞相似，通過相似度的比對得到結果。最早的時候，去重是基于關鍵詞進行比對，數芯采取關鍵詞和語義，兩種方式比對，去重效果明顯提升。內容去重可以用于新聞的熱度計算，新聞數據顧慮清洗，文章版權追蹤等業務場景。

內容標簽化

搜索引擎可以用來搜索新聞，通過關鍵詞和文章的匹配度來決定這篇內容是否推薦給用戶。但純搜索的方式已經滿足不了用戶家的需求。今日頭條之所以成功，是因為它基于新聞和用戶的習慣推薦內容。內容標簽化就是通過機器的方式理解新聞，理解新聞與哪些信息相關，基于文本挖掘的手段，實現對于全網采集的內容數據進行分類打標。

四、Project依賴

很多時候，使用大數據平臺要不要分項目都是一個很難的抉擇。不分項目的好處是開發人員都在同一個平臺工作，互相之間不需要太多的授權，整體工作效率會比較高。分項目的好處是利用不同平臺做不同的業務會更清晰，更具條理性。數芯在開始使用MaxCompute時，便采取分項目方式，其考慮的原因有以下三點。首先，分項目可以區分業務優先級，避免低優先級任務影響高優先級的數據產出。另外，可以區分資源消耗型，避免出現高資源消耗任務整體影響數據產出。還有區分內外服務，避免內部服務互相交叉影響。總體上，分項目可以為數據產出的穩定性提供很好的保障。

五、幾點小提示

首先，由于媒體行業大部分數據都是非結構化的數據，會造成對單字段的容量要求比較大的問題。而且不同的平臺和傳輸工具對于數據的字段大小的限制不同。在從不同平臺做數據傳輸時，尤其需要關注這個問題。
第二，能用UDF解決的問題，不要使用MR。使用UDF可以提高開發和運維的效率。即盡量用簡單的表達式處理邏輯，這對整體數據產出穩定性有好處。
第三，對查詢效率要求不高的數據報表可以直連MaxCompute，減少中間環節。如此可以大大減少數據轉換和數據維護成本。
第四，Datahub一方面可以接數據源，另外還可以較好的串聯批，流之間的計算流程，保持數據一致性和形成依賴。
第五，合理設計批，流的數據處理分工，減少重復計算。
第六，媒體大數據經常需要運用不同的算法，PAI可以幫助解決很多算法問題，減少開發的工作量，提高數據處理的效率。

歡迎對大數據計算技術感興趣的開發者一起加入“MaxCompute開發者社區”，釘釘群號11782920，或掃下方二維碼。

本文為阿里云原創內容，未經允許不得轉載。

云棲號 - 上云就看云棲號

總結

以上是生活随笔為你收集整理的揭秘高德地图如何利用MaxCompute管理海量数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。