大数据学习之路——新闻大数据的增值应用
新聞大數(shù)據(jù)借助于領域詞表、大數(shù)據(jù)和人工智能技術，將雜亂無章的新聞條目數(shù)據(jù)按照領域詞表自動重新聚類，并在聚類的基礎上，進行數(shù)據(jù)重組和集成，形成具有較大價值的專題數(shù)據(jù)，提供給機構和讀者。
?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖 1-1 新聞大數(shù)據(jù)增值服務技術架構
?
新聞大數(shù)據(jù)是報社的制勝法寶
互聯(lián)網媒體對傳統(tǒng)報社構成了較大沖擊，經濟效益顯著下滑，讀者數(shù)量也急劇減少。報社賴以生存的新聞報道已經被今日頭條、手百等互聯(lián)網媒體所取代，讀者通過手機百度等媒體就可以全面了解當前熱點、新聞、時政等新聞內容，導致報社讀者大量流失，讀者的流失又直接導致了廣告商投入和報紙銷量的減少。
針對互聯(lián)網媒體的沖擊，報社也投入了大量資金以應對日趨惡化的經營環(huán)境，例如，建立新聞網站、移動新聞客戶端、融媒體建設等。但大多收效甚微，主要原因是——雖然新聞的生產方式、經營方式已經數(shù)字和互聯(lián)網化，提高了新聞的生產和傳播效率，但是其經營的內容沒有改變，依然是售賣新聞模式，該模式同手機百度等媒體相比，缺乏內容競爭力，讀者自然就不買賬了。
不過，報社也有其自身的競爭力。以參考消息為例，參考消息完成了自1953年至今所有參考消息版面的數(shù)字化加工工作，加工后的數(shù)字內容以PDF、數(shù)據(jù)庫、XML等多種方式存儲，為大數(shù)據(jù)增值服務提供了數(shù)據(jù)支撐。參考消息大數(shù)據(jù)集中體現(xiàn)了中國自建國以來，國外媒體對中國外交、經濟、政治、民生等方面的報道及觀點，其承載的文化內容和歷史內涵都是不言而喻的，對研究中國國情及發(fā)展歷程具有很大的文獻情報價值，對圖書館、機構、社會組織、企業(yè)、讀者都有較強的內容吸引力，也是今日頭條、手百等媒體不能給予讀者的內容。
?
大數(shù)據(jù)增值應用有哪些技術內容？
大數(shù)據(jù)增值服務涉及到數(shù)據(jù)的感知與采集、數(shù)據(jù)的存儲、數(shù)據(jù)的挖掘分析與重組、數(shù)據(jù)的展現(xiàn)與交互技術。
數(shù)據(jù)的感知與采集是獲取并對數(shù)據(jù)進行預處理的技術。例如，新聞機構一般都以數(shù)據(jù)庫方式存儲新聞條目，這就需要系統(tǒng)能夠識別數(shù)據(jù)庫存儲的新聞條目，并按照預定規(guī)則對新聞條目預處理后，進入到大數(shù)據(jù)存儲系統(tǒng)。再如，利用爬蟲技術從新聞網站采集新聞條目，并按照預定規(guī)則對采集的新聞條目預處理后，進入到大數(shù)據(jù)存儲系統(tǒng)。
大數(shù)據(jù)的存儲技術非常重要，直接關系到大數(shù)據(jù)增值服務系統(tǒng)的響應和運算能力，從系統(tǒng)的響應和運算能力考慮，傳統(tǒng)的關系型數(shù)據(jù)庫存儲、數(shù)據(jù)集中式存儲技術已不能滿足大數(shù)據(jù)的存儲與數(shù)據(jù)運算需求。需要運用新的數(shù)據(jù)存儲和運算技術，以滿足不斷增長的數(shù)據(jù)存儲需求和高并發(fā)數(shù)據(jù)的運算能力。
新聞大數(shù)據(jù)的增值服務主要是對新聞數(shù)據(jù)進行挖掘和重組，對機構和讀者提供數(shù)據(jù)檢索和專題數(shù)據(jù)服務。例如，某機構要組織“記錄濰坊，見證歷史”活動，可以通過新聞大數(shù)據(jù)系統(tǒng)挖掘濰坊發(fā)展過程中涉及的熱點、大事件、政策、民生變化等新聞條目，并按照時間線和熱點、大事件、政策、民生進行排序和歸類，生成專題數(shù)據(jù)，活動參與者可以通過瀏覽器、手機瀏覽專題數(shù)據(jù)。再如，對濰坊文化、歷史感興趣的讀者都可以通過檢索和專題數(shù)據(jù)來感知濰坊。
數(shù)據(jù)的展現(xiàn)和交互技術直接影響用戶使用大數(shù)據(jù)服務的體驗，也影響到大數(shù)據(jù)服務的傳播和推廣。面向機構提供大數(shù)據(jù)服務時，系統(tǒng)可以部署到機構內部（大數(shù)據(jù)鏡像服務），也可以部署在云端，并提供標準或者個性化的檢索與閱讀頁面，機構讀者可以在機構內部和外部通過移動終端（微信小程序）、PC瀏覽器訪問大數(shù)據(jù)服務；面向讀者提供服務時，充分考慮到新聞機構已有的系統(tǒng)建設，提供數(shù)據(jù)服務接口，為新聞機構已有系統(tǒng)提供數(shù)據(jù)獲取服務。
?
大數(shù)據(jù)增值應用實現(xiàn)需要的核心技術
大數(shù)據(jù)服務首先要解決大數(shù)據(jù)的存儲與高并發(fā)運算需求。大數(shù)據(jù)的特征是高價值的海量數(shù)據(jù)、數(shù)據(jù)來源渠道眾多、適合于數(shù)據(jù)的挖掘和重組、支持高并發(fā)運算?；诖髷?shù)據(jù)的上述特征，采用傳統(tǒng)的數(shù)據(jù)集中式存儲和關系型數(shù)據(jù)庫技術已經不能滿足大數(shù)據(jù)服務需求，需要采用新的存儲和數(shù)據(jù)庫技術。
大數(shù)據(jù)服務宜采用分布式存儲以提高大數(shù)據(jù)的存儲擴展能力?？紤]到大數(shù)據(jù)硬件建設成本和便捷的擴展性，服務器應采用價格低廉的普通PC服務器，每臺PC服務器通過網絡連接，工作互相不受干擾，數(shù)據(jù)存儲到自身的硬盤上，當需要擴展數(shù)據(jù)存儲時，直接在網絡中加入PC服務器即可。所有接入存儲網絡的PC服務器在分布式操作系統(tǒng)的控制下，自動保存數(shù)據(jù)的多個副本到不同的PC服務器，以提高數(shù)據(jù)的容錯性，可以在不同服務器之間直接拷貝和復制數(shù)據(jù)，保持各服務器的負載平衡。
系統(tǒng)應用分布式基礎架構Hadoop技術，硬件可以基于普通PC 服務器，存儲基于服務器自帶的本地硬盤，操作系統(tǒng)采用Linux。上述基礎架構擁有較高的存儲擴展能力和內在的故障容錯能力以及數(shù)據(jù)保障機制，可以降低每TB數(shù)據(jù)的處理成本，為大數(shù)據(jù)處理提供技術和性價比支撐。數(shù)據(jù)庫采用Hbase，HBase是一個分布式的、面向列的開源數(shù)據(jù)庫。利用HBase和Hadoop技術，可在廉價PC 服務器上搭建大規(guī)模結構化存儲集群。
大數(shù)據(jù)服務宜采用云計算以提高大數(shù)據(jù)的運算能力，運算能力包括檢索、數(shù)據(jù)挖掘、重組能力。由不同PC服務器組成的分布式存儲系統(tǒng)可以構建云計算，利用PC服務器自身的運算能力，對自身存儲的數(shù)據(jù)進行運算，每臺PC服務器的運算結果匯總后，返回給數(shù)據(jù)請求者。
利用Hadoop的MapReduce技術，可以控制多臺PC服務器完成數(shù)據(jù)的并發(fā)運算。例如，讀者在前端的一個檢索請求，會觸發(fā)MapReduce發(fā)起云計算，MapReduce將調用多臺PC服務器參與運算，然后將每臺服務器的運算結果匯總并返回給檢索系統(tǒng)。
總結
以上是生活随笔為你收集整理的大数据学习之路——新闻大数据的增值应用的全部內容，希望文章能夠幫你解決所遇到的問題。
