Python3之logging输出写入日志
Python3之logging模塊淺析
目錄
- Python3之logging模塊淺析
- 簡單用法
- 日志與控制臺同時輸出
- 一個同時輸出到屏幕、文件的完成例子
- 日志文件截取
- 日志重復打印問題解決
- 問題分析
- 解決方案
- 1.使用不同的日志對象
- 2.及時清理（logger.handlers.clear）
- 3.使用前先判斷是否有相同的handler對象
- 總結：
Python3之logging模塊淺析
很多程序都有記錄日志的需求，并且日志中包含的信息即有正常的程序訪問日志，還可能有錯誤、警告等信息輸出，python的logging模塊提供了標準的日志接口，你可以通過它存儲各種格式的日志，logging的日志可以分為 debug(), info(), warning(), error() and critical()5個級別，下面我們看一下怎么用。
簡單用法
- 在控制臺進行顯示 logging.info('xxxxx') 有以下五個級別：debug、info、warning、error、critical
- 在日志中輸出 logging.basicConfig()，日志級別同樣是有五個
format自定義格式，下表中均支持
| %(levelno)s | 數字形式的日志級別 |
| %(levelname)s | 文本形式的日志級別 |
| %(pathname)s | 調用日志輸出函數的模塊的完整路徑名，可能沒有 |
| %(filename)s | 調用日志輸出函數的模塊的文件名 |
| %(module)s | 調用日志輸出函數的模塊名 |
| %(funcName)s | 調用日志輸出函數的函數名 |
| %(lineno)d | 調用日志輸出函數的語句所在的代碼行 |
| %(created)f | 當前時間，用UNIX標準的表示時間的浮 點數表示 |
| %(relativeCreated)d | 輸出日志信息時的，自Logger創建以 來的毫秒數 |
| %(asctime)s | 字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒 |
| %(thread)d | 線程ID。可能沒有 |
| %(threadName)s | 線程名。可能沒有 |
| %(process)d | 進程ID。可能沒有 |
| %(message)s | 用戶輸出的消息 |
日志與控制臺同時輸出
Python 使用logging模塊記錄日志涉及四個主要類，使用官方文檔中的概括最為合適：
- logger提供了應用程序可以直接使用的接口；
- handler將(logger創建的)日志記錄發送到合適的目的輸出；
- filter提供了細度設備來決定輸出哪條日志記錄；
- formatter決定日志記錄的最終輸出格式
一個同時輸出到屏幕、文件的完成例子
可按以下步驟進行創建
實現代碼如下：
# -*- coding:utf-8 -*-import loggingdef logger(log_obj):logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()log_file = "access.log"file_handle = logging.FileHandler(log_file)file_handle.setLevel(logging.WARNING)formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')console_handle.setFormatter(formatter)file_handle.setFormatter(formatter)logger.addHandler(console_handle)logger.addHandler(file_handle)return logger日志文件截取
- 按照大小截取
logging.handlers.RotatingFileHandler()
當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建 一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把 文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的函數是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。
backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。
- 按照時間截取
logging.handlers.TimedRotatingFileHandler()
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就 自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的函數是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：
S 秒
M 分
H 小時
D 天
W 每星期（interval==0時代表星期一）
midnight 每天凌晨
- 代碼實現如下:
日志重復打印問題解決
- 以下內容根據同學分享內容進行整理
在python中函數編程可以大大的減少重復代碼量，在打印日志時，為避免重復造輪子，可使用創建log函數進行調用。
# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):print(logging._handlerList)logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1 ')my_logger('access').error('say 2 ')my_logger('access').error('say 3 ')恩就這樣定義好了一個log 函數，那我們來執行一下：
2018-06-24 13:25:54,411 - access.log - ERROR - say 1 2018-06-24 13:25:54,412 - access.log - ERROR - say 2 2018-06-24 13:25:54,412 - access.log - ERROR - say 2 2018-06-24 13:25:54,412 - access.log - ERROR - say 3 2018-06-24 13:25:54,412 - access.log - ERROR - say 3 2018-06-24 13:25:54,412 - access.log - ERROR - say 3What's the fuck！為什么日志輸出依次遞增!
問題分析
實際上logger = logging.getLogger(log_obj)在執行時，沒有每次生成一個新的logger，而是先檢查內存中是否存在一個叫做‘log_obj’的logger對象，存在則取出，不存在則新建。
- 實例化的logger對象具有‘handlers’這樣一個屬性來存儲,我們打印看看存儲的是什么信息
從結果中可以看出：
解決方案
1.使用不同的日志對象
# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)print(logger.handlers) logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access1').error('say 1 ')my_logger('access2').error('say 2 ')my_logger('access3').error('say 3 ')運行結果：
2018-06-24 13:51:33,084 - access1 - ERROR - say 1 2018-06-24 13:51:33,084 - access2 - ERROR - say 2 2018-06-24 13:51:33,085 - access3 - ERROR - say 32.及時清理（logger.handlers.clear）
# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)logger.handlers.clear()#print(logger.handlers)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1 ')my_logger('access').error('say 2 ')my_logger('access').error('say 3 ')運行結果如下:
2018-06-24 13:56:38,357 - access - ERROR - say 1 2018-06-24 13:56:38,358 - access - ERROR - say 2 2018-06-24 13:56:38,358 - access - ERROR - say 3還有一種通過清理handler的方法但是兼容性較差
# 這種寫法下的可以使用removeHandler方法或logger.handlers.pop()(logger.handlers.clear也可以使用在這種寫法的函數內) # -*- coding:utf-8 -*-import loggingdef my_logger(log_obj, msg):logger = logging.getLogger(log_obj)#print(logger.handlers)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)logger.error(msg)logger.removeHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access', 'say 1')my_logger('access', 'say 2')my_logger('access', 'say 3')運行結果：
2018-06-24 14:02:08,390 - access - ERROR - say 1 2018-06-24 14:02:08,390 - access - ERROR - say 2 2018-06-24 14:02:08,390 - access - ERROR - say 33.使用前先判斷是否有相同的handler對象
# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)# 判斷logger是否已經添加過handler，是則直接返回logger對象，否則執行handler設定以及addHandler(console_handle)if not logger.handlers:console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1')my_logger('access').error('say 2')my_logger('access').error('say 3')總結：
第一次遇到這個問題的時候，沒有找到原因，使用了創建多個日志對象的方法解決了問題，現在通過同學的分享已經搞清楚日志重復的原因：多次增加了相同的handler對象。
以后定要多積累，多請教。
============================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================
很多程序都有記錄日志的需求，并且日志包含的信息有正常的程序訪問日志還可能有錯誤，警告等信息輸出，python的logging模塊提供了標準的日志接口，可以通過它存儲各種格式的日志，日志級別等級:critical > error > warning > info > debug
看下各個日志級別代表什么意思：
簡單講日志打印到屏幕：
1 >>> import logging2 >>> logging.debug('test debug')3 >>> logging.info('test info')4 >>> logging.warning('test warning')5 WARNING:root:test warning6 >>> logging.error('test error')7 ERROR:root:test error8 >>> logging.critical('test critical')9 CRITICAL:root:test critical 10 >>>默認情況下只顯示了大于等于WARNING級別的日志。
靈活配置日志級別，日志格式，輸出位置：
1 import logging 2 logging.basicConfig(filename='app.log',level=logging.DEBUG,format='%(asctime)s %(filename)s[line:%(lineno)d] %(message)s',datefmt='%Y-%m-%d') 3 logging.info('test info') 4 logging.debug('test debug') 5 logging.warning('test warning') 6 logging.error('test error') 7 logging.critical('test critical')查看輸出：
2017-07-17 logging模塊.py[line:7] test info 2017-07-17 logging模塊.py[line:8] test debug 2017-07-17 logging模塊.py[line:9] test warning 2017-07-17 logging模塊.py[line:10] test error 2017-07-17 logging模塊.py[line:11] test critical在logging.basicConfig()函數中可通過具體參數來更改logging模塊默認行為，可用參數有 filename：用指定的文件名創建FiledHandler（后邊會具體講解handler的概念），這樣日志會被存儲在指定的文件中。 filemode：文件打開方式，在指定了filename時使用這個參數，默認值為“a”還可指定為“w”。 format：指定handler使用的日志顯示格式。 datefmt：指定日期時間格式。 level：設置rootlogger（后邊會講解具體概念）的日志級別 stream：用指定的stream創建StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者文件，默認為sys.stderr。若同時列出了filename和stream兩個參數，則stream參數會被忽略。format參數中可能用到的格式化串： %(name)s Logger的名字 %(levelno)s 數字形式的日志級別 %(levelname)s 文本形式的日志級別 %(pathname)s 調用日志輸出函數的模塊的完整路徑名，可能沒有 %(filename)s 調用日志輸出函數的模塊的文件名 %(module)s 調用日志輸出函數的模塊名 %(funcName)s 調用日志輸出函數的函數名 %(lineno)d 調用日志輸出函數的語句所在的代碼行 %(created)f 當前時間，用UNIX標準的表示時間的浮 點數表示 %(relativeCreated)d 輸出日志信息時的，自Logger創建以 來的毫秒數 %(asctime)s 字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒 %(thread)d 線程ID。可能沒有 %(threadName)s 線程名。可能沒有 %(process)d 進程ID。可能沒有 %(message)s用戶輸出的消息若要對logging進行更多靈活的控制，必須了解Logger，Handler，Formatter，Filter的概念：logger提供了應用程序可以直接使用的接口；
handler將(logger創建的)日志記錄發送到合適的目的輸出；
filter提供了細度設備來決定輸出哪條日志記錄；
formatter決定日志記錄的最終輸出格式。
logger
每個程序在輸出信息之前都要獲得一個Logger。Logger通常對應了程序的模塊名，比如聊天工具的圖形界面模塊可以這樣獲得它的Logger：
LOG=logging.getLogger(”chat.gui”)
而核心模塊可以這樣：
LOG=logging.getLogger(”chat.kernel”)
Logger.setLevel(lel):指定最低的日志級別，低于lel的級別將被忽略。debug是最低的內置級別，critical為最高
Logger.addFilter(filt)、Logger.removeFilter(filt):添加或刪除指定的filter
Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或刪除指定的handler
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以設置的日志級別
handler
handler對象負責發送相關的信息到指定目的地。Python的日志系統有多種Handler可以使用。有些Handler可以把信息輸出到控制臺，有些Logger可以把信息輸出到文件，還有些 Handler可以把信息發送到網絡上。如果覺得不夠用，還可以編寫自己的Handler。可以通過addHandler()方法添加多個多handler
Handler.setLevel(lel):指定被處理的信息級別，低于lel級別的信息將被忽略
Handler.setFormatter()：給這個handler選擇一個格式
Handler.addFilter(filt)、Handler.removeFilter(filt)：新增或刪除一個filter對象
每個Logger可以附加多個Handler。接下來我們就來介紹一些常用的Handler：
1) logging.StreamHandler
使用這個Handler可以向類似與sys.stdout或者sys.stderr的任何文件對象(file object)輸出信息。它的構造函數是：
StreamHandler([strm])
其中strm參數是一個文件對象。默認是sys.stderr
2) logging.FileHandler
和StreamHandler類似，用于向一個文件輸出日志信息。不過FileHandler會幫你打開這個文件。它的構造函數是：
FileHandler(filename[,mode])
filename是文件名，必須指定一個文件名。
mode是文件的打開方式。參見Python內置函數open()的用法。默認是’a'，即添加到文件末尾。
3) logging.handlers.RotatingFileHandler
這個Handler類似于上面的FileHandler，但是它可以管理文件大小。當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建 一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把 文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的構造函數是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。
backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。
4) logging.handlers.TimedRotatingFileHandler
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就 自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的構造函數是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：
S 秒
M 分
H 小時
D 天
W 每星期（interval==0時代表星期一）
midnight 每天凌晨
屏幕輸出和文件輸出例子：
1 import logging2 logger = logging.getLogger() #定義對應的程序模塊名name，默認是root3 #logger.setLevel(logging.DEBUG) #指定最低的日志級別4 ch = logging.StreamHandler() #日志輸出到屏幕控制臺5 ch.setLevel(logging.WARNING) #設置日志等級6 7 fh = logging.FileHandler('access.log')#向文件access.log輸出日志信息8 fh.setLevel(logging.INFO) #設置輸出到文件最低日志級別9 10 #create formatter 11 formatter = logging.Formatter('%(asctime)s %(name)s- %(levelname)s - %(message)s') #定義日志輸出格式 12 13 #add formatter to ch and fh 14 ch.setFormatter(formatter) #選擇一個格式 15 fh.setFormatter(formatter) 16 17 logger.addHandler(ch) #增加指定的handler 18 logger.addHandler(fh) 19 # 'application' code 20 logger.debug('debug message') 21 logger.info('info message') 22 logger.warn('warn message') 23 logger.error('error message') 24 logger.critical('critical message') import logging,os BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) #獲取上級目錄的絕對路徑 log_dir = BASE_DIR + '/log/record.log' def get_logger():fh = logging.FileHandler(log_dir,encoding='utf-8') #創建一個文件流并設置編碼utf8logger = logging.getLogger() #獲得一個logger對象，默認是rootlogger.setLevel(logging.DEBUG) #設置最低等級debugfm = logging.Formatter("%(asctime)s --- %(message)s") #設置日志格式logger.addHandler(fh) #把文件流添加進來，流向寫入到文件fh.setFormatter(fm) #把文件流添加寫入格式return logger?
總結
以上是生活随笔為你收集整理的Python3之logging输出写入日志的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Hadoop 副本存储策略的源码修改和设
- 下一篇： python基本的信号与槽函数的使用 信