python又一力作，感受python的強(qiáng)大。用70行代碼實(shí)現(xiàn)日志分析程序

功能介紹：可直接對(duì)文本日至進(jìn)行分組和排序功能，完了輸出結(jié)果粘貼到excel里就可以直接生成圖表，對(duì)于排查一些生產(chǎn)環(huán)境問題有很大的作用。

代碼：

#encoding=utf-8 from optparseimport OptionParser import redef get_args():def get_parser():usage= u"""%prog -f filename -r rule [-d] [-c] 用途：對(duì)文本文件按照指定模式進(jìn)行分組并排序,主要分析文本日志用 注意：如果正則表達(dá)式里有分組，則提取第一分組，如果不希望這樣，請(qǐng)使用正則的無捕獲分組(?:) 示例：統(tǒng)計(jì)日志里每分鐘的日志量，默認(rèn)按時(shí)間正序排列python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d"統(tǒng)計(jì)日志里每個(gè)ip出現(xiàn)的次數(shù)，并按出現(xiàn)次數(shù)倒序排列python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d"""return OptionParser(usage)def add_option(parser):parser.add_option("-f","--file", dest="filename",help=u"需要分組的文本文件", metavar="FILE")parser.add_option("-r","--rule", dest="rule",help=u"分組的正則表達(dá)式", metavar="REGEX")parser.add_option("-d", action="store_true",dest="reverse", default=False,help=u"反序排列")parser.add_option("-c", action="store_true",dest="orderbycount", default=False,help=u"按數(shù)量排序,默認(rèn)按匹配字符串排序")def get_options(parser):options, args= parser.parse_args()if not options.filename:parser.error('沒有指定文件名')if not options.rule:parser.error('沒有指定分組規(guī)則')return optionsparser= get_parser()add_option(parser)return get_options(parser)options = get_args() filename = options.filename rule = options.rule reverse = options.reverse orderbycount= options.orderbycount regex = re.compile(rule, re.IGNORECASE) keys = {}def counter_key(key):keys.setdefault(key,0)keys[key]+= 1def print_keys():sort_key= (lambda d:d[1])if orderbycountelse (lambda d:d[0])temp_items= sorted(keys.items(), key=sort_key, reverse=reverse)for itemin temp_items:key= item[0]print key, keys[key]def get_key(line):m= regex.search(line)if m:return m.group()if regex.groups== 0 else m.group(1)return '!NotMatch!'withopen(filename) as f:for linein f:key= get_key(line)counter_key(key)print_keys()

總結(jié)

以上是生活随笔為你收集整理的用70行代码实现日志分析程序​的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。