從數(shù)據(jù)源到數(shù)據(jù)呈現(xiàn)說說目前的情況吧，

數(shù)據(jù)源：

1、mysql

2、日志文件

呈現(xiàn)：

1、csv文件導(dǎo)出或者發(fā)送郵件

2、提供接口數(shù)據(jù)給web呈現(xiàn)圖標(biāo)

當(dāng)前涉及的一些技術(shù)點：

從日志文件讀取數(shù)據(jù)主要是 shell ＋ awk ，從 mysql 主要是 php 讀取數(shù)據(jù)存儲到文件，之后通過 php 或者 shell 來進行一些運算或者統(tǒng)計處理， 相應(yīng)數(shù)據(jù)入庫或者發(fā)送郵件提供給需求方。

目前項目積累了大量的腳本，和一些臨時性的解決辦法(零散腳本)，而且隨著數(shù)據(jù)的增長， mysql 這部分效率也越來越慢， 復(fù)雜的腳本已經(jīng)變得越來越難維護。這些腳本有一些是需要的時候手工跑一次，還有很多是定時跑，如果繼續(xù)下去已經(jīng)快不可控了。

尋求一套從數(shù)據(jù)入口到數(shù)據(jù)呈現(xiàn)的解決方案，或者是各位有經(jīng)驗的同學(xué)分享分享。

日志文件存儲在 hadoop 上一部分，目前沒有寫 mapreduce 直接去處理這部分。

->3Q

回復(fù)內(nèi)容：

從數(shù)據(jù)源到數(shù)據(jù)呈現(xiàn)說說目前的情況吧，

數(shù)據(jù)源：

1、mysql

2、日志文件

呈現(xiàn)：

1、csv文件導(dǎo)出或者發(fā)送郵件

2、提供接口數(shù)據(jù)給web呈現(xiàn)圖標(biāo)

當(dāng)前涉及的一些技術(shù)點：

從日志文件讀取數(shù)據(jù)主要是 shell ＋ awk ，從 mysql 主要是 php 讀取數(shù)據(jù)存儲到文件，之后通過 php 或者 shell 來進行一些運算或者統(tǒng)計處理， 相應(yīng)數(shù)據(jù)入庫或者發(fā)送郵件提供給需求方。

目前項目積累了大量的腳本，和一些臨時性的解決辦法(零散腳本)，而且隨著數(shù)據(jù)的增長， mysql 這部分效率也越來越慢， 復(fù)雜的腳本已經(jīng)變得越來越難維護。這些腳本有一些是需要的時候手工跑一次，還有很多是定時跑，如果繼續(xù)下去已經(jīng)快不可控了。

尋求一套從數(shù)據(jù)入口到數(shù)據(jù)呈現(xiàn)的解決方案，或者是各位有經(jīng)驗的同學(xué)分享分享。

日志文件存儲在 hadoop 上一部分，目前沒有寫 mapreduce 直接去處理這部分。

->3Q

0、方案取決于你的目標(biāo)和團隊實力。自建方案的復(fù)雜度和你的期望成正比，和數(shù)據(jù)量成正比。

1、你可以研究一下Splunk或者Logstash + ES + Kibana這兩個方案，相信會有驚喜。

2、如果還想更深入，可以了解一下SIEM。

3、Dirty And Quick是一種選擇；Flexable是另一種選擇。

源數(shù)據(jù)整理好格式，定好Schema，用Hive統(tǒng)計，用Oozie定時跑作業(yè)，結(jié)果放在約定好的地方，用Web呈現(xiàn)。

基本上都是這么個套路。

只能采納一個答案.

其實這是一個討論性的話題，希望有更多的人參與吧。

本文原創(chuàng)發(fā)布php中文網(wǎng)，轉(zhuǎn)載請注明出處，感謝您的尊重！

總結(jié)

以上是生活随笔為你收集整理的php 统计 系统设计,求解统计系统设计的一些技术方案和实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。