python3 logging模块_Python3之logging模块浅析
Python3之logging模塊淺析
很多程序都有記錄日志的需求，并且日志中包含的信息即有正常的程序訪問日志，還可能有錯誤、警告等信息輸出，python的logging模塊提供了標準的日志接口，你可以通過它存儲各種格式的日志，logging的日志可以分為 debug(), info(), warning(), error() and critical()5個級別，下面我們看一下怎么用。
簡單用法
在控制臺進行顯示 logging.info('xxxxx') 有以下五個級別：debug、info、warning、error、critical
import logging
logging.warning("warning:user/passwd is invalid")
logging.critical("critical:server is down")
在日志中輸出 logging.basicConfig()，日志級別同樣是有五個
import logging
logging.basicConfig(filename='access.log',level=logging.INFO,format='%(asctime)s %(message)s',
datefmt='%m/%d/%Y %I:%M:%S %p')
#basicConfig 方法對日志進本信息進行配置，文件名、日志級別、輸出格式等，但必須以key-value形式使用
logging.debug('This message should go to the log file?') # 由于上面已經將日志級別設置為INFO，故低于INFO的不會被打印
logging.info('So should this')
logging.warning('And this, too')
format自定義格式，下表中均支持
%(name)sLogger的名字
%(levelno)s
數字形式的日志級別
%(levelname)s
文本形式的日志級別
%(pathname)s
調用日志輸出函數的模塊的完整路徑名，可能沒有
%(filename)s
調用日志輸出函數的模塊的文件名
%(module)s
調用日志輸出函數的模塊名
%(funcName)s
調用日志輸出函數的函數名
%(lineno)d
調用日志輸出函數的語句所在的代碼行
%(created)f
當前時間，用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d
輸出日志信息時的，自Logger創建以 來的毫秒數
%(asctime)s
字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒
%(thread)d
線程ID。可能沒有
%(threadName)s
線程名。可能沒有
%(process)d
進程ID。可能沒有
%(message)s
用戶輸出的消息
日志與控制臺同時輸出
Python 使用logging模塊記錄日志涉及四個主要類，使用官方文檔中的概括最為合適：
logger提供了應用程序可以直接使用的接口；
handler將(logger創建的)日志記錄發送到合適的目的輸出；
filter提供了細度設備來決定輸出哪條日志記錄；
formatter決定日志記錄的最終輸出格式
一個同時輸出到屏幕、文件的完成例子
可按以下步驟進行創建
生成logger對象
生成handler 對象
把handler 對象綁定到logger對象
生成formatter 對象
將formatter對象綁定到handler對象
實現代碼如下：
# -*- coding:utf-8 -*-
import logging
def logger(log_obj):
logger = logging.getLogger(log_obj)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
log_file = "access.log"
file_handle = logging.FileHandler(log_file)
file_handle.setLevel(logging.WARNING)
formatter = logging.Formatter(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handle.setFormatter(formatter)
file_handle.setFormatter(formatter)
logger.addHandler(console_handle)
logger.addHandler(file_handle)
return logger
日志文件截取
按照大小截取
logging.handlers.RotatingFileHandler()
當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建 一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把 文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的函數是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。
backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。
按照時間截取
logging.handlers.TimedRotatingFileHandler()
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就 自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的函數是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：
S 秒
M 分
H 小時
D 天
W 每星期(interval==0時代表星期一)
midnight 每天凌晨
代碼實現如下:
# -*- coding:utf-8 -*-
import logging
from logging import handlers
logger = logging.getLogger(__name__)
log_file_size = "sizelog.log"
log_file_time = "timelog.log"
file_handler_size = logging.handlers.RotatingFileHandler(filename=log_file_size,maxBytes=10,backupCount=3)
file_handler_time = logging.handlers.TimedRotatingFileHandler(filename=log_file_time,when="S",interval=5,backupCount=3)
formatter = logging.Formatter('%(asctime)s %(module)s:%(lineno)d %(message)s')
file_handler_size.setFormatter(formatter)
file_handler_time.setFormatter(formatter)
logger.addHandler(file_handler_size)
logger.addHandler(file_handler_time)
logger.warning("test1")
logger.warning("test12")
logger.warning("test13")
logger.warning("test14")
日志重復打印問題解決
以下內容根據同學分享內容進行整理
在python中函數編程可以大大的減少重復代碼量，在打印日志時，為避免重復造輪子，可使用創建log函數進行調用。
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj):
print(logging._handlerList)
logger = logging.getLogger(log_obj)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
formatter = logging.Formatter(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access').error('say 1 ')
my_logger('access').error('say 2 ')
my_logger('access').error('say 3 ')
恩就這樣定義好了一個log 函數，那我們來執行一下：
2018-06-24 13:25:54,411 - access.log - ERROR - say 1
2018-06-24 13:25:54,412 - access.log - ERROR - say 2
2018-06-24 13:25:54,412 - access.log - ERROR - say 2
2018-06-24 13:25:54,412 - access.log - ERROR - say 3
2018-06-24 13:25:54,412 - access.log - ERROR - say 3
2018-06-24 13:25:54,412 - access.log - ERROR - say 3
What's the fuck！為什么日志輸出依次遞增!
問題分析
實際上logger = logging.getLogger(log_obj)在執行時，沒有每次生成一個新的logger，而是先檢查內存中是否存在一個叫做‘log_obj’的logger對象，存在則取出，不存在則新建。
實例化的logger對象具有‘handlers’這樣一個屬性來存儲,我們打印看看存儲的是什么信息
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj):
logger = logging.getLogger(log_obj)
print(logger.handlers)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
formatter = logging.Formatter(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access').error('say 1 ')
my_logger('access').error('say 2 ')
my_logger('access').error('say 3 ')
[]
2018-06-24 13:44:47,239 - access.log - ERROR - say 1
[ (NOTSET)>]
2018-06-24 13:45:22,597 - access.log - ERROR - say 2
2018-06-24 13:45:22,597 - access.log - ERROR - say 2
[ (NOTSET)>, (NOTSET)>]
2018-06-24 13:45:32,877 - access.log - ERROR - say 3
2018-06-24 13:45:32,877 - access.log - ERROR - say 3
2018-06-24 13:45:32,877 - access.log - ERROR - say 3
從結果中可以看出：
logger.handlers最初是一個空列表，執行logger.addHandler(console_handle)添加一個StreamHandler，輸出一條日志
在第二次被調用時，logger.handlers已經存在一個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個StreamHandler，此時的logger有兩個個StreamHandler，輸出兩條重復的日志
在第三次被調用時，logger.handlers已經存在兩個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個，此時的logger有三個StreamHandler，輸出三條重復的日志
解決方案
1.使用不同的日志對象
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj):
logger = logging.getLogger(log_obj)
print(logger.handlers)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
formatter = logging.Formatter(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access1').error('say 1 ')
my_logger('access2').error('say 2 ')
my_logger('access3').error('say 3 ')
運行結果：
2018-06-24 13:51:33,084 - access1 - ERROR - say 1
2018-06-24 13:51:33,084 - access2 - ERROR - say 2
2018-06-24 13:51:33,085 - access3 - ERROR - say 3
2.及時清理(logger.handlers.clear)
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj):
logger = logging.getLogger(log_obj)
logger.handlers.clear()
#print(logger.handlers)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access').error('say 1 ')
my_logger('access').error('say 2 ')
my_logger('access').error('say 3 ')
運行結果如下:
2018-06-24 13:56:38,357 - access - ERROR - say 1
2018-06-24 13:56:38,358 - access - ERROR - say 2
2018-06-24 13:56:38,358 - access - ERROR - say 3
還有一種通過清理handler的方法但是兼容性較差
# 這種寫法下的可以使用removeHandler方法或logger.handlers.pop()(logger.handlers.clear也可以使用在這種寫法的函數內)
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj, msg):
logger = logging.getLogger(log_obj)
#print(logger.handlers)
logger.setLevel(logging.INFO)
console_handle = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
logger.error(msg)
logger.removeHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access', 'say 1')
my_logger('access', 'say 2')
my_logger('access', 'say 3')
運行結果：
2018-06-24 14:02:08,390 - access - ERROR - say 1
2018-06-24 14:02:08,390 - access - ERROR - say 2
2018-06-24 14:02:08,390 - access - ERROR - say 3
3.使用前先判斷是否有相同的handler對象
# -*- coding:utf-8 -*-
import logging
def my_logger(log_obj):
logger = logging.getLogger(log_obj)
logger.setLevel(logging.INFO)
# 判斷logger是否已經添加過handler，是則直接返回logger對象，否則執行handler設定以及addHandler(console_handle)
if not logger.handlers:
console_handle = logging.StreamHandler()
formatter = logging.Formatter(
'%(asctime)s - %(name)s - %(levelname)s - %(message)s ')
console_handle.setFormatter(formatter)
logger.addHandler(console_handle)
return logger
if __name__ == '__main__':
my_logger('access').error('say 1')
my_logger('access').error('say 2')
my_logger('access').error('say 3')
總結：
第一次遇到這個問題的時候，沒有找到原因，使用了創建多個日志對象的方法解決了問題，現在通過同學的分享已經搞清楚日志重復的原因：多次增加了相同的handler對象。
以后定要多積累，多請教。
============================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================
很多程序都有記錄日志的需求，并且日志包含的信息有正常的程序訪問日志還可能有錯誤，警告等信息輸出，python的logging模塊提供了標準的日志接口，可以通過它存儲各種格式的日志，日志級別等級:critical > error > warning > info > debug
看下各個日志級別代表什么意思：
簡單講日志打印到屏幕：
1 >>> import logging
2 >>> logging.debug('test debug')
3 >>> logging.info('test info')
4 >>> logging.warning('test warning')
5 WARNING:root:test warning
6 >>> logging.error('test error')
7 ERROR:root:test error
8 >>> logging.critical('test critical')
9 CRITICAL:root:test critical
10 >>>
默認情況下只顯示了大于等于WARNING級別的日志。
靈活配置日志級別，日志格式，輸出位置：
1 import logging
2 logging.basicConfig(filename='app.log',level=logging.DEBUG,format='%(asctime)s %(filename)s[line:%(lineno)d] %(message)s',datefmt='%Y-%m-%d')
3 logging.info('test info')
4 logging.debug('test debug')
5 logging.warning('test warning')
6 logging.error('test error')
7 logging.critical('test critical')
查看輸出：
2017-07-17 logging模塊.py[line:7] test info
2017-07-17 logging模塊.py[line:8] test debug
2017-07-17 logging模塊.py[line:9] test warning
2017-07-17 logging模塊.py[line:10] test error
2017-07-17 logging模塊.py[line:11] test critical
在logging.basicConfig()函數中可通過具體參數來更改logging模塊默認行為，可用參數有
filename：用指定的文件名創建FiledHandler(后邊會具體講解handler的概念)，這樣日志會被存儲在指定的文件中。
filemode：文件打開方式，在指定了filename時使用這個參數，默認值為“a”還可指定為“w”。
format：指定handler使用的日志顯示格式。
datefmt：指定日期時間格式。
level：設置rootlogger(后邊會講解具體概念)的日志級別
stream：用指定的stream創建StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者文件，默認為sys.stderr。若同時列出了filename和stream兩個參數，則stream參數會被忽略。
format參數中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 數字形式的日志級別
%(levelname)s 文本形式的日志級別
%(pathname)s 調用日志輸出函數的模塊的完整路徑名，可能沒有
%(filename)s 調用日志輸出函數的模塊的文件名
%(module)s 調用日志輸出函數的模塊名
%(funcName)s 調用日志輸出函數的函數名
%(lineno)d 調用日志輸出函數的語句所在的代碼行
%(created)f 當前時間，用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d 輸出日志信息時的，自Logger創建以 來的毫秒數
%(asctime)s 字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒
%(thread)d 線程ID。可能沒有
%(threadName)s 線程名。可能沒有
%(process)d 進程ID。可能沒有
%(message)s用戶輸出的消息
若要對logging進行更多靈活的控制，必須了解Logger，Handler，Formatter，Filter的概念：
logger提供了應用程序可以直接使用的接口；
handler將(logger創建的)日志記錄發送到合適的目的輸出；
filter提供了細度設備來決定輸出哪條日志記錄；
formatter決定日志記錄的最終輸出格式。
logger
每個程序在輸出信息之前都要獲得一個Logger。Logger通常對應了程序的模塊名，比如聊天工具的圖形界面模塊可以這樣獲得它的Logger：
LOG=logging.getLogger(”chat.gui”)
而核心模塊可以這樣：
LOG=logging.getLogger(”chat.kernel”)
Logger.setLevel(lel):指定最低的日志級別，低于lel的級別將被忽略。debug是最低的內置級別，critical為最高
Logger.addFilter(filt)、Logger.removeFilter(filt):添加或刪除指定的filter
Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或刪除指定的handler
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以設置的日志級別
handler
handler對象負責發送相關的信息到指定目的地。Python的日志系統有多種Handler可以使用。有些Handler可以把信息輸出到控制臺，有些Logger可以把信息輸出到文件，還有些 Handler可以把信息發送到網絡上。如果覺得不夠用，還可以編寫自己的Handler。可以通過addHandler()方法添加多個多handler
Handler.setLevel(lel):指定被處理的信息級別，低于lel級別的信息將被忽略
Handler.setFormatter()：給這個handler選擇一個格式
Handler.addFilter(filt)、Handler.removeFilter(filt)：新增或刪除一個filter對象
每個Logger可以附加多個Handler。接下來我們就來介紹一些常用的Handler：
1) logging.StreamHandler
使用這個Handler可以向類似與sys.stdout或者sys.stderr的任何文件對象(file object)輸出信息。它的構造函數是：
StreamHandler([strm])
其中strm參數是一個文件對象。默認是sys.stderr
2) logging.FileHandler
和StreamHandler類似，用于向一個文件輸出日志信息。不過FileHandler會幫你打開這個文件。它的構造函數是：
FileHandler(filename[,mode])
filename是文件名，必須指定一個文件名。
mode是文件的打開方式。參見Python內置函數open()的用法。默認是’a'，即添加到文件末尾。
3) logging.handlers.RotatingFileHandler
這個Handler類似于上面的FileHandler，但是它可以管理文件大小。當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建 一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把 文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的構造函數是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。
backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。
4) logging.handlers.TimedRotatingFileHandler
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就 自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的構造函數是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：
S 秒
M 分
H 小時
D 天
W 每星期(interval==0時代表星期一)
midnight 每天凌晨
屏幕輸出和文件輸出例子：
1 import logging
2 logger = logging.getLogger() #定義對應的程序模塊名name，默認是root
3 #logger.setLevel(logging.DEBUG) #指定最低的日志級別
4 ch = logging.StreamHandler() #日志輸出到屏幕控制臺
5 ch.setLevel(logging.WARNING) #設置日志等級
6
7 fh = logging.FileHandler('access.log')#向文件access.log輸出日志信息
8 fh.setLevel(logging.INFO) #設置輸出到文件最低日志級別
9
10 #create formatter
11 formatter = logging.Formatter('%(asctime)s %(name)s- %(levelname)s - %(message)s') #定義日志輸出格式
12
13 #add formatter to ch and fh
14 ch.setFormatter(formatter) #選擇一個格式
15 fh.setFormatter(formatter)
16
17 logger.addHandler(ch) #增加指定的handler
18 logger.addHandler(fh)
19 # 'application' code
20 logger.debug('debug message')
21 logger.info('info message')
22 logger.warn('warn message')
23 logger.error('error message')
24 logger.critical('critical message')
import logging,os
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) #獲取上級目錄的絕對路徑
log_dir = BASE_DIR + '/log/record.log'
def get_logger():
fh = logging.FileHandler(log_dir,encoding='utf-8') #創建一個文件流并設置編碼utf8
logger = logging.getLogger() #獲得一個logger對象，默認是root
logger.setLevel(logging.DEBUG) #設置最低等級debug
fm = logging.Formatter("%(asctime)s --- %(message)s") #設置日志格式
logger.addHandler(fh) #把文件流添加進來，流向寫入到文件
fh.setFormatter(fm) #把文件流添加寫入格式
return logger
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的python3 logging模块_Python3之logging模块浅析的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： python用pil图像放大缩小_pyt
- 下一篇： pythonweb扫描器_Python安