1.系統(tǒng)日志采集方法

很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等。這些系統(tǒng)采用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求，例如，Scribe是Facebook開源的日志收集系統(tǒng)，能夠從各種日志源上收集日志，存儲到一個中央存儲系統(tǒng)（可以是NFS、分布式文件系統(tǒng)等）上，以便于進行集中統(tǒng)計分析處理，它為日志的“分布式收集，統(tǒng)一處理”提供了一個可擴展的、高容錯的方案。

2.對非結(jié)構(gòu)化數(shù)據(jù)的采集

非結(jié)構(gòu)化數(shù)據(jù)的采集就是針對所有非結(jié)構(gòu)化的數(shù)據(jù)的采集，包括企業(yè)內(nèi)部數(shù)據(jù)的采集和網(wǎng)絡(luò)數(shù)據(jù)的采集等。企業(yè)內(nèi)部數(shù)據(jù)的采集是針對企業(yè)內(nèi)部各種文檔、視頻、音頻、郵件、圖片等數(shù)據(jù)格式之間互不兼容的數(shù)據(jù)采集。

網(wǎng)絡(luò)數(shù)據(jù)采集是指針對通過爬蟲或網(wǎng)站公開api等方式從網(wǎng)上獲取互聯(lián)網(wǎng)中相關(guān)網(wǎng)頁內(nèi)容的過程,并從中抽取出用戶所需要的屬性內(nèi)容。互聯(lián)網(wǎng)網(wǎng)頁數(shù)據(jù)處理，就是對抽取出來的網(wǎng)頁數(shù)據(jù)進行內(nèi)容和格式上的處理、轉(zhuǎn)換和加工,使之能夠適應(yīng)用戶的需求,并將之存儲下來,供以后使用。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來,將其存儲為統(tǒng)一的本地數(shù)據(jù)文件,并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外,對于網(wǎng)絡(luò)流量的采集可以使用DPI(DeepPacketInspection,深度包檢測)或DFI(Deep/Dynamic Flow Inspection,深度/動態(tài)流檢測)等帶寬管理技術(shù)進行處理。 網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則自動地抓取萬維網(wǎng)信息的程序或者腳本,它是一個自動提取網(wǎng)頁的程序，為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁,是搜索引擎的重要組成。 目前網(wǎng)絡(luò)數(shù)據(jù)采集的關(guān)鍵技術(shù)為鏈接過濾，其實質(zhì)是判斷一個鏈接(當(dāng)前鏈接)是不是在一個鏈接集合(已經(jīng)抓取過的鏈接)里。在對網(wǎng)頁大數(shù)據(jù)的采集中，可以采用布隆過濾器(Bloom Filter)來實現(xiàn)對鏈接的過濾。

3.其他數(shù)據(jù)采集方法

對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù),可以通過與企業(yè)或研究機構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。 盡管大數(shù)據(jù)技術(shù)層面的應(yīng)用可以無限廣闊,但由于受到數(shù)據(jù)采集的限制,能夠用于商業(yè)應(yīng)用、服務(wù)于人們的數(shù)據(jù)要遠(yuǎn)遠(yuǎn)小于理論上大數(shù)據(jù)能夠采集和處理的數(shù)據(jù)。因此，解決大數(shù)據(jù)的隱私問題是數(shù)據(jù)采集技術(shù)的重要目標(biāo)之一。 現(xiàn)階段的醫(yī)療機構(gòu)數(shù)據(jù)更多來源于內(nèi)部，外部的數(shù)據(jù)沒有得到很好的應(yīng)用。對于外部數(shù)據(jù)，醫(yī)療機構(gòu)可以考慮借助如百度阿里、聘訊等第三方數(shù)據(jù)平臺解決數(shù)據(jù)采集難題。

總結(jié)

以上是生活随笔為你收集整理的数据采集的技术方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。