前言：

? ? ? ?此文接的是上篇，上次的內容是，用python操作elasticsearch存儲，實現數據的插入和查詢。 ?估計有些人一看我的標題，以為肯定是 logstash kibana elasticsearch的組合。這三個家伙也確實總是勾搭在一塊。 其實logstash是可以被別的替換，比如常見的fluented 。剩下的那兩個，kibana和elasticsearch是一伙的，不好做分離。

? ? ? ? 這次用的不是那種開源的、cs模式日志收集應用，還真不是。而是自己直接從程序里面把日志打到elasticsearch里面（可以是python，也可以用shell的curl）。然后通過kibana把elasticsearch數據讀出來，直接繪圖。?

??????我個人還是不喜歡用elasticsearch做存儲，他的一些語法說明不夠犀利，主要原因還是他的DSL讓我頭疼。 ?我還是喜歡把結果打到mongodb里面。 對于我來說mongodb的查詢語句是我很喜歡的。

??????不扯了，開始切入主題。 ?我這里的想法比較簡單和方便，比如需要監控一些數據，我們完全可以把結果打到elasticsearch里面。 ?而不是我前面說的那樣，還需要從庫里面取出數值，然后再用前端畫圖，另外數據的接口還不好控制，真心是麻煩，當然對于熟練前后端的人來說，這也僅僅是麻煩而已。

下圖是我以前的一個項目，通知平臺的前端，當時開發的時候，真是十分的蛋疼，一會搞數據層，一會搞前端的ajax模板，但是帶來的好處也不少，尤其是提高自己的前后端細節的寫碼能力。 ?

?

但說起來，感覺如果用kibana3的話，在一定程度來說，很是方便。 ?只需要給elasticsearch下面的數據格式就行了。

index是索引，在elasticsearch里面，一切皆索引（我說的）

type是格式，咱們做圖表的時候，基本是根據type做歸類的。比如，web相關的為一個索引，然后nginx和varnish為不同的type。 當然也可以再細化，把那個nginx服務都可以做一個索引。 只要你不覺得亂套就行了。 很多人擔心elasticsearch的大數據能力，其實我沒怎么把他看做大數據處理，就把他做個臨時一個月的存儲，做一些個日志分析，監控啥的。 （個人喜歡）

@message 是主數據內容

@timestamp是時間，kibana默認是根據這個來做時間段的。

上面的數據有些亂，咱們可以把鍵值對分化的更細致點。

原文：http://rfyiamcool.blog.51cto.com/1030776/1421049

但是kibana3二次開發起來，對于初學者來說，是有難度的。 ?

原文：http://rfyiamcool.blog.51cto.com/1030776/1421049

????? ??

????? 如果懶得寫前端和數據接口，完全可以把日志和數據放到elasticsearch處理。我的開發主要是python，用pyes，只需要把數據扔給elasticsearch就行了。 格式是json的樣子，看下面，用kibana可以做多條件的查詢，我想搜 nginx，squid，tornado的類型，類型，出錯的頻率。

除了query，還有用regexp正則的方式

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

(111|222) aaa.* a{3}b{3}????????#?match a{2,4}b{2,4}????#?match a{2,}b{2,}??????#?match .{3}.{3}????????#?match a{4}b{4}????????#?no?match a{4,6}b{4,6}????#?no?match a{4,}b{4,}??????#?no?match (ab)+???????#?match ab(ab)+?????#?match (..)+???????#?match (...)+??????#?no?match (ab)*???????#?match abab(ab)????#?match ab(ab)??????#?no?match (ab){3}?????#?match (ab){1,2}???#?no?match

查詢，web的日志，看下css，js，jpg，bootstrap.css,bootstrap.js 訪問的一些比率 ~

?本文轉自 rfyiamcool 51CTO博客，原文鏈接：http://blog.51cto.com/rfyiamcool/1421049，如需轉載請自行聯系原作者

總結

以上是生活随笔為你收集整理的使用kibana和elasticsearch日志实时绘制图表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。