php 统计 系统设计,求解统计系统设计的一些技术方案和实现
從數(shù)據(jù)源到數(shù)據(jù)呈現(xiàn)說說目前的情況吧,
數(shù)據(jù)源:
1、mysql
2、日志文件
呈現(xiàn):
1、csv文件導(dǎo)出或者發(fā)送郵件
2、提供接口數(shù)據(jù)給web呈現(xiàn)圖標(biāo)
當(dāng)前涉及的一些技術(shù)點:
從日志文件讀取數(shù)據(jù)主要是 shell + awk ,從 mysql 主要是 php 讀取數(shù)據(jù)存儲到文件,之后通過 php 或者 shell 來進行一些運算或者統(tǒng)計處理, 相應(yīng)數(shù)據(jù)入庫或者發(fā)送郵件提供給需求方。
目前項目積累了大量的腳本,和一些臨時性的解決辦法(零散腳本),而且隨著數(shù)據(jù)的增長, mysql 這部分效率也越來越慢, 復(fù)雜的腳本已經(jīng)變得越來越難維護。這些腳本有一些是需要的時候手工跑一次,還有很多是定時跑,如果繼續(xù)下去已經(jīng)快不可控了。
尋求一套從數(shù)據(jù)入口到數(shù)據(jù)呈現(xiàn)的解決方案,或者是各位有經(jīng)驗的同學(xué)分享分享。
日志文件存儲在 hadoop 上一部分,目前沒有寫 mapreduce 直接去處理這部分。
->3Q
回復(fù)內(nèi)容:
從數(shù)據(jù)源到數(shù)據(jù)呈現(xiàn)說說目前的情況吧,
數(shù)據(jù)源:
1、mysql
2、日志文件
呈現(xiàn):
1、csv文件導(dǎo)出或者發(fā)送郵件
2、提供接口數(shù)據(jù)給web呈現(xiàn)圖標(biāo)
當(dāng)前涉及的一些技術(shù)點:
從日志文件讀取數(shù)據(jù)主要是 shell + awk ,從 mysql 主要是 php 讀取數(shù)據(jù)存儲到文件,之后通過 php 或者 shell 來進行一些運算或者統(tǒng)計處理, 相應(yīng)數(shù)據(jù)入庫或者發(fā)送郵件提供給需求方。
目前項目積累了大量的腳本,和一些臨時性的解決辦法(零散腳本),而且隨著數(shù)據(jù)的增長, mysql 這部分效率也越來越慢, 復(fù)雜的腳本已經(jīng)變得越來越難維護。這些腳本有一些是需要的時候手工跑一次,還有很多是定時跑,如果繼續(xù)下去已經(jīng)快不可控了。
尋求一套從數(shù)據(jù)入口到數(shù)據(jù)呈現(xiàn)的解決方案,或者是各位有經(jīng)驗的同學(xué)分享分享。
日志文件存儲在 hadoop 上一部分,目前沒有寫 mapreduce 直接去處理這部分。
->3Q
0、方案取決于你的目標(biāo)和團隊實力。自建方案的復(fù)雜度和你的期望成正比,和數(shù)據(jù)量成正比。
1、你可以研究一下Splunk或者Logstash + ES + Kibana這兩個方案,相信會有驚喜。
2、如果還想更深入,可以了解一下SIEM。
3、Dirty And Quick是一種選擇;Flexable是另一種選擇。
源數(shù)據(jù)整理好格式,定好Schema,用Hive統(tǒng)計,用Oozie定時跑作業(yè),結(jié)果放在約定好的地方,用Web呈現(xiàn)。
基本上都是這么個套路。
只能采納一個答案.
其實這是一個討論性的話題,希望有更多的人參與吧。
本文原創(chuàng)發(fā)布php中文網(wǎng),轉(zhuǎn)載請注明出處,感謝您的尊重!
總結(jié)
以上是生活随笔為你收集整理的php 统计 系统设计,求解统计系统设计的一些技术方案和实现的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux基础学习九:Mysql读写分离
- 下一篇: CentOS7 安装 Nginx PH