Python中由于logging模塊誤用導(dǎo)致的內(nèi)存泄露的解決方法

這篇文章主要介紹了解決Python中由于logging模塊誤用導(dǎo)致的內(nèi)存泄露,針對由于過多的UDP連接所產(chǎn)生的問題,需要的朋友可以參考下

首先介紹下怎么發(fā)現(xiàn)的吧, 線上的項(xiàng)目日志是通過 logging 模塊打到 syslog 里, 跑了一段時(shí)間后發(fā)現(xiàn) syslog 的 UDP 連接超過了 8W, 沒錯(cuò)是 8 W. 主要是 logging 模塊用的不對

我們之前有這么一個(gè)需求, 就是針對每一個(gè)連接日志輸出當(dāng)前連接的信息, 所以每一個(gè) 連接就創(chuàng)建了一個(gè)日志實(shí)例, 并分配一個(gè) Formatter, 創(chuàng)建日志實(shí)例為了區(qū)分其他連接 所以我就簡單粗暴的用了當(dāng)前對象的 id 來作為日志名稱:

import logging

class Connection(object):

def __init__(self):

self._logger_name = "Connection.{}".format(id(self))

self.logger = logging.getLogger(self._logger_name)

當(dāng)然測試環(huán)境是開 DEBUG, 開 DEBUG 就不會(huì)往 syslog 里打, 所以不會(huì)出現(xiàn) UDP 連接數(shù) 過多, 也就不會(huì)知道有內(nèi)存泄露的, 我們來看看這樣為什么會(huì)導(dǎo)致內(nèi)存泄露, 首先看看 getLogger 的代碼:

def getLogger(name=None):

"""

Return a logger with the specified name, creating it if necessary.

If no name is specified, return the root logger.

"""

if name:

return Logger.manager.getLogger(name)

else:

return root

主要調(diào)用了 Logger.manager.getLogger, 這個(gè)函數(shù)有下面一段代碼片段

if name in self.loggerDict:

rv = self.loggerDict[name]

if isinstance(rv, PlaceHolder):

ph = rv

rv = (self.loggerClass or _loggerClass)(name)

rv.manager = self

self.loggerDict[name] = rv

self._fixupChildren(ph, rv)

self._fixupParents(rv)

else:

rv = (self.loggerClass or _loggerClass)(name)

rv.manager = self

self.loggerDict[name] = rv

self._fixupParents(rv)

logging 模塊為了保證同一個(gè)名稱引用同一個(gè)日志實(shí)例,所以就把所有的日志實(shí)例全部存 在了一個(gè) loggerDict 的字典里, 所以除非程序退出, 創(chuàng)建的日志實(shí)例引用是不會(huì)釋放的, 所以日志實(shí)例里的 handlers 也不會(huì)釋放. 之前我又用的對象的 id 來作為日志名稱 的一部分, 所以 SyslogHandler 創(chuàng)建的 UDP 連接就一直被占用導(dǎo)致了過多的 UDP 連接.

為了解決這個(gè)問題我在連接關(guān)閉的時(shí)候加入了如下代碼:

logging.Logger.manager.loggerDict.pop(self._logger_name)

self.logger.manager = None

self.logger.handlers = []

按說只加上上面第一行的代碼就應(yīng)該釋放了, 但是沒有, 所以又有了第三行代碼, SyslogHandler 才最終釋放, 這個(gè)問題暫時(shí)還不知道為什么, 還需要再查查.

2015-03-30 更新 如果日志名稱是以 . 分隔, logging 模塊則會(huì)將最后一部分作為日志名, 并往上去尋找 父 Logger, 如果找不到則創(chuàng)建 PlaceHolder 對象作為父, 并引用 Logger.

比如創(chuàng)建的 Logger 名稱為 a.b.c, 那么實(shí)際的名稱則為 c, 并將 b 作為 c 的父, a 作為 b 的 父, 如果沒有該名稱的 Logger 則創(chuàng)建 PlaceHolder 對象作為代替, PlaceHolder 會(huì)創(chuàng)建對當(dāng)前 Logger 的引用. 所以需要被回收的日志對象名稱里不應(yīng)包含 .

更多信息請查看IT技術(shù)專欄