從數據源到數據呈現說說目前的情況吧，

數據源：

1、mysql

2、日志文件

呈現：

1、csv文件導出或者發送郵件

2、提供接口數據給web呈現圖標

當前涉及的一些技術點：

從日志文件讀取數據主要是 shell ＋ awk ，從 mysql 主要是 php 讀取數據存儲到文件，之后通過 php 或者 shell 來進行一些運算或者統計處理， 相應數據入庫或者發送郵件提供給需求方。

目前項目積累了大量的腳本，和一些臨時性的解決辦法(零散腳本)，而且隨著數據的增長， mysql 這部分效率也越來越慢， 復雜的腳本已經變得越來越難維護。這些腳本有一些是需要的時候手工跑一次，還有很多是定時跑，如果繼續下去已經快不可控了。

尋求一套從數據入口到數據呈現的解決方案，或者是各位有經驗的同學分享分享。

日志文件存儲在 hadoop 上一部分，目前沒有寫 mapreduce 直接去處理這部分。

->3Q

回復內容：

從數據源到數據呈現說說目前的情況吧，

數據源：

1、mysql

2、日志文件

呈現：

1、csv文件導出或者發送郵件

2、提供接口數據給web呈現圖標

當前涉及的一些技術點：

從日志文件讀取數據主要是 shell ＋ awk ，從 mysql 主要是 php 讀取數據存儲到文件，之后通過 php 或者 shell 來進行一些運算或者統計處理， 相應數據入庫或者發送郵件提供給需求方。

目前項目積累了大量的腳本，和一些臨時性的解決辦法(零散腳本)，而且隨著數據的增長， mysql 這部分效率也越來越慢， 復雜的腳本已經變得越來越難維護。這些腳本有一些是需要的時候手工跑一次，還有很多是定時跑，如果繼續下去已經快不可控了。

尋求一套從數據入口到數據呈現的解決方案，或者是各位有經驗的同學分享分享。

日志文件存儲在 hadoop 上一部分，目前沒有寫 mapreduce 直接去處理這部分。

->3Q

0、方案取決于你的目標和團隊實力。自建方案的復雜度和你的期望成正比，和數據量成正比。

1、你可以研究一下Splunk或者Logstash + ES + Kibana這兩個方案，相信會有驚喜。

2、如果還想更深入，可以了解一下SIEM。

3、Dirty And Quick是一種選擇；Flexable是另一種選擇。

源數據整理好格式，定好Schema，用Hive統計，用Oozie定時跑作業，結果放在約定好的地方，用Web呈現。

基本上都是這么個套路。

只能采納一個答案.

其實這是一個討論性的話題，希望有更多的人參與吧。

本文原創發布php中文網，轉載請注明出處，感謝您的尊重！

總結

以上是生活随笔為你收集整理的php 统计 系统设计,求解统计系统设计的一些技术方案和实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。