最近幾年，經(jīng)常聽(tīng)到數(shù)據(jù)挖掘這個(gè)詞。

不過(guò)，我仔細(xì)看了下，發(fā)現(xiàn)這個(gè)詞還是挺模糊的。

挖掘

這個(gè)詞，應(yīng)該指從數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的信息。

比如從搜索詞中，發(fā)現(xiàn)網(wǎng)民的關(guān)注點(diǎn)，進(jìn)而指導(dǎo)廣告投放、產(chǎn)品推薦，生產(chǎn)用戶(hù)需要的產(chǎn)品。

數(shù)據(jù)

根據(jù)我有限的閱歷來(lái)看，數(shù)據(jù)最常見(jiàn)的形式就是日志，各種各樣的日志。

限于從業(yè)經(jīng)驗(yàn)有限，本文只是簡(jiǎn)要介紹下日志的種類(lèi)、存儲(chǔ)和計(jì)算，僅供參考。

日志的種類(lèi)

1.瀏覽日志

a.廣告曝光日志

? 一個(gè)廣告的一次曝光，會(huì)產(chǎn)生一條曝光日志。

? 日志格式：廣告位ID、媒體、頻道、曝光時(shí)間、IP、來(lái)源、操作系統(tǒng)、瀏覽器、用戶(hù)ID等。

? 注：可以用監(jiān)測(cè)點(diǎn)ID來(lái)代替媒體和頻道等更多信息。

b.網(wǎng)頁(yè)訪問(wèn)日志

? 網(wǎng)頁(yè)被一個(gè)用戶(hù)訪問(wèn)一次，產(chǎn)生一條訪問(wèn)日志。

? 日志格式：網(wǎng)頁(yè)URL、用戶(hù)ID、訪問(wèn)時(shí)間、來(lái)源、操作系統(tǒng)、瀏覽器等。

2.行為日志

a.廣告點(diǎn)擊日志

日志格式：廣告位ID、媒體、頻道、點(diǎn)擊時(shí)間、IP、來(lái)源、操作系統(tǒng)、瀏覽器、用戶(hù)ID等。

b.內(nèi)容點(diǎn)擊日志

?用戶(hù)點(diǎn)擊了站內(nèi)的鏈接，記錄這個(gè)日志，可以得出用戶(hù)的喜好。

日志格式：?與網(wǎng)頁(yè)訪問(wèn)和廣告點(diǎn)擊日志類(lèi)似。

c.分享日志

?用戶(hù)分享了文章或者文章的一部分。

d.收藏

用戶(hù)收藏了商品、文章、代碼等。

e.搜索

? 百度肯定記錄了用戶(hù)的搜索記錄。

?優(yōu)酷等視頻網(wǎng)站、新浪等媒體網(wǎng)站也有吧。

?更多日志，不再一一列舉。

日志的存儲(chǔ)

百度、優(yōu)酷等大型互聯(lián)網(wǎng)網(wǎng)站，肯定有很多服務(wù)器。

日志也會(huì)存儲(chǔ)到多臺(tái)服務(wù)器上。

日志可以存儲(chǔ)到文件中，一條日志一個(gè)文件，或者多個(gè)日志共用一個(gè)文件。

至于怎樣更合理，我還沒(méi)有啥實(shí)際經(jīng)驗(yàn)。

兩個(gè)疑問(wèn)

1.日志數(shù)據(jù)作為互聯(lián)網(wǎng)公司的重要資產(chǎn)，是否會(huì)統(tǒng)一存儲(chǔ)起來(lái)呢？

我覺(jué)得最終會(huì)統(tǒng)一存放到數(shù)據(jù)倉(cāng)庫(kù)中，一臺(tái)機(jī)器顯然是不夠的，會(huì)有很多臺(tái)。

2.這些日志數(shù)據(jù)有必要備份么？

?我覺(jué)得有必要。

日志的計(jì)算

1.實(shí)時(shí)計(jì)算

? 來(lái)一條日志，或者一定量的日志，就計(jì)算。

? 然后，把多態(tài)服務(wù)器上的計(jì)算結(jié)果累加，得出最終的結(jié)果。

? 現(xiàn)在，很多客戶(hù)都要求“實(shí)時(shí)數(shù)據(jù)”。比如，廣告投放15分鐘之后，就可以看到監(jiān)測(cè)數(shù)據(jù)了。

?實(shí)時(shí)計(jì)算能力已經(jīng)成為一個(gè)技術(shù)公司的核心競(jìng)爭(zhēng)力了。

2.非實(shí)時(shí)計(jì)算

? 等所有相關(guān)數(shù)據(jù)都出來(lái)了，然后再統(tǒng)一計(jì)算。

? 這種方式，準(zhǔn)確度會(huì)更高。

云存儲(chǔ)

有的技術(shù)公司，有自己私有的云存儲(chǔ)技術(shù)，不對(duì)外提供。

有的技術(shù)公司，不但有私有的云存儲(chǔ)技術(shù)，還對(duì)外提供服務(wù)。比如百度、金山、QQ等都有免費(fèi)提供給用戶(hù)的云存儲(chǔ)服務(wù)。

公司內(nèi)部與向外提供還是有區(qū)別的。比如象訪問(wèn)和點(diǎn)擊日志這種，文件比較小。而對(duì)外提供的，文件可能比較大。

場(chǎng)景和需求的不同，也就決定了云存儲(chǔ)技術(shù)還是會(huì)分化成好幾種。

云計(jì)算

我一直沒(méi)有搞清楚“云計(jì)算”和“分布式計(jì)算”有啥區(qū)別，總感覺(jué)“云”就是一個(gè)模糊的讓人“云山霧繞”的概念。

姑且就認(rèn)為云計(jì)算=分布式計(jì)算。

我的理解，云計(jì)算就是把一個(gè)復(fù)雜的計(jì)算問(wèn)題，拆分成了可以單獨(dú)計(jì)算的多個(gè)部分，然后把多個(gè)計(jì)算結(jié)果進(jìn)行合并。

（上周末看了《云計(jì)算-大數(shù)據(jù)時(shí)代的系統(tǒng)工程》這本書(shū)，對(duì)云計(jì)算有了更清晰的認(rèn)識(shí)。）

友情提示

本人從業(yè)時(shí)間有限，經(jīng)驗(yàn)有限，因此本文僅供參考。

本人正在努力學(xué)習(xí)和研究當(dāng)中。

歡迎提出建設(shè)性的意見(jiàn)和建議。

原文鏈接：http://blog.fansunion.cn/articles/3445(小雷博客-blog.fansunion.cn)

轉(zhuǎn)載于:https://www.cnblogs.com/qitian1/p/6463369.html

總結(jié)

以上是生活随笔為你收集整理的互联网日志的种类、存储和计算的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。