【python】内存调试，python调试,全文拷贝自：http

(gdb) pypy-bt               py-list             py-print            pythonpy-down             py-locals           py-up               python-interactive

-py-up、py-down 可移动到python调用栈的上一个或下一个frame；
-py-locals 用来打印局部变量……
gdb中也可用help命令查看帮助：

(gdb) help py-printLook up the given python variable name, and print it

在这次追踪过程中，用gdb-python排除了程序逻辑问题。接下来继续追踪内存泄漏问题。

pyrasite: 连接进入python程序

pyrasite可以直接连上一个正在运行的python程序，打开一个类似ipython的交互终端来运行命令、检查程序状态。

这为调试提供了极大的方便。
安装：

# pip install pyrasite...# pip show pyrasiteName: pyrasiteVersion: 2.0Summary: Inject code into a running Python processHome-page: http://pyrasite.comAuthor: Luke Macken...

连接到有问题的python程序，开始收集信息：

pyrasite-shell <pid>>>>

接下来就可以在进程里调用任意python代码，查看进程状态。

psutil 查看python进程状态

pip install psutil

首先查看python进程占用的系统内存RSS：

pyrasite-shell 11122>>> import psutil, os>>> psutil.Process(os.getpid()).memory_info().rss 29095232

基本与ps命令显示结果一致：

rss the real memory (resident set) size of the process (in 1024 byte units)

guppy 获取内存使用的各种对象占用情况
guppy 可以打印各种对象所占空间大小，如果python进程中有未释放的对象，造成内存占用升高，可通过guppy查看。

同样，以下步骤是通过pyrasite-shell，attach到目标进程后操作的。

# pip install guppyfrom guppy import hpyh = hpy()h.heap()# Partition of a set of 48477 objects. Total size = 3265516 bytes.#  Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)#      0  25773  53  1612820  49   1612820  49 str#      1  11699  24   483960  15   2096780  64 tuple#      2    174   0   241584   7   2338364  72 dict of module#      3   3478   7   222592   7   2560956  78 types.CodeType#      4   3296   7   184576   6   2745532  84 function#      5    401   1   175112   5   2920644  89 dict of class#      6    108   0    81888   3   3002532  92 dict (no owner)#      7    114   0    79632   2   3082164  94 dict of type#      8    117   0    51336   2   3133500  96 type#      9    667   1    24012   1   3157512  97 __builtin__.wrapper_descriptor# <76 more rows. Type e.g. ‘_.more‘ to view.>h.iso(1,[],{})# Partition of a set of 3 objects. Total size = 176 bytes.#  Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)#      0      1  33      136  77       136  77 dict (no owner)#      1      1  33       28  16       164  93 list#      2      1  33       12   7       176 100 int

通过以上步骤可排除python进程中存在未释放的对象的可能。

无法回收的对象

python本身带有垃圾回收，但同时满足以下2个条件时，python程序中个别对象则无法被回收(uncollectable object) ：
- 循环引用
- 循环引用链上某对象定义了del方法

官方解释是：循环引用的一组对象被gc模块识别为可回收，但需先调用每个对象上的del才可被回收。当用户自定义了del的对象，gc系统无法判断应先调用环上的哪个del，因此无法回收这类对象。

不能回收的python对象会持续占据内存，因此，我们推测有不能被回收的对象导致了内存持续升高。

最终确定不是由这种问题引起的内存无法释放。不能回收的对象仍可通过gc.get_objects() 列出，并会在gc.collect()调用后加入gc.garbage的list里。但目前尚未发现这类对象的存在。
查找uncollectable的对象:

pyrasite-shell 11122>>> import gc>>> gc.collect() # first run gc, find out uncollectable object and put them in gc.garbage                    # output number of object collected>>> gc.garbage   # print all uncollectable objects[]                 # empty

如果打印出任何不能回收的对象，则需进一步查找，确定循环引用链上哪个对象包含del方法。

下面应用1个例子来演示如何生成不能回收的对象：

from __future__ import print_functionimport gc‘‘‘This snippet shows how to create a uncollectible object:It is an object in a cycle reference chain, in which there is an objectwith __del__ defined.The simpliest is an object that refers to itself and with a __del__ defined.    > python uncollectible.py    ======= collectible object =======    *** init,     nr of referrers: 4                  garbage:         []                  created:         collectible: <__main__.One object at 0x102c01090>                  nr of referrers: 5                  delete:    *** __del__ called    *** after gc, nr of referrers: 4                     garbage:         []    ======= uncollectible object =======    *** init,     nr of referrers: 4                  garbage:         []                  created:         uncollectible: <__main__.One object at 0x102c01110>                  nr of referrers: 5                  delete:    *** after gc, nr of referrers: 5                  garbage:         [<__main__.One object at 0x102c01110>]‘‘‘def dd(*msg):    for m in msg:        print(m, end=‘‘)    print()class One(object):    def __init__(self, collectible):        if collectible:            self.typ = ‘collectible‘        else:            self.typ = ‘uncollectible‘            # Make a reference to it self, to form a reference cycle.            # A reference cycle with __del__, makes it uncollectible.            self.me = self    def __del__(self):        dd(‘*** __del__ called‘)def test_it(collectible):    dd()    dd(‘======= ‘, (‘collectible‘ if collectible else ‘uncollectible‘), ‘ object =======‘)    dd()    gc.collect()    dd(‘*** init,     nr of referrers: ‘, len(gc.get_referrers(One)))    dd(‘              garbage:         ‘, gc.garbage)    one = One(collectible)    dd(‘              created:         ‘, one.typ, ‘: ‘, one)    dd(‘              nr of referrers: ‘, len(gc.get_referrers(One)))    dd(‘              delete:‘)    del one    gc.collect()    dd(‘*** after gc, nr of referrers: ‘, len(gc.get_referrers(One)))    dd(‘              garbage:         ‘, gc.garbage)if __name__ == "__main__":    test_it(collectible=True)    test_it(collectible=False)

上面这段代码创建了2个对象：1个可回收、1个不可回收，它们都定义了del方法，唯一区别在于是否引用了自己（从而构成了引用环）。

如果在这个步骤发现了循环引用，则需进一步查出具体哪些引用关系造成了循环，进而破坏循环引用，最终让对象可回收。

objgraph 查找循环引用

# pip install objgraphpyrasite-shell 11122>>> import objgraph>>> objgraph.show_refs([an_object], filename=‘sample-graph.png‘)

以上例子中，将在本地生成一个图片，描述可以由an_object引用到的关系图：

在这一步我们仍未找到不能回收的对象，排除一切原因后我们推测libc的malloc实现问题。使用tcmalloc替代libc默认的malloc后问题最终得到修复。

【python】内存调试