像老大一样优化Python(1)(2)
内建优化器
启用内建的优化器就像是用一门大炮。它非常强大，但是有点不太好用，使用和解释起来比较复杂。
你可以了解更多关于profile模块的东西，但是它的基础是非常简单的：你能够启用和禁用优化器，而且它能打印所有的函数调用和执行时间。它能给你编译和打印出输出。一个简单的装饰器如下：
- import cProfile
- def do_cprofile(func):
- def profiled_func(*args, **kwargs):
- profile = cProfile.Profile()
- try:
- profile.enable()
- result = func(*args, **kwargs)
- profile.disable()
- return result
- finally:
- profile.print_stats()
- return profiled_func
- def get_number():
- for x in xrange(5000000):
- yield x
- @do_cprofile
- def expensive_function():
- for x in get_number():
- i = x ^ x ^ x
- return 'some result!'
- # perform profiling
- result = expensive_function()
在上面代码的情况下，你应该看到有些东西在终端打印出来，打印的内容如下：
- 5000003 function calls in 1.626 seconds
- Ordered by: standard name
- ncalls tottime percall cumtime percall filename:lineno(function)
- 5000001 0.571 0.000 0.571 0.000 timers.py:92(get_number)
- 1 1.055 1.055 1.626 1.626 timers.py:96(expensive_function)
- 1 0.000 0.000 0.000 0.000 {method 'disable' of '_lsprof.Profiler' objects}
你可以看到，它给出了不同函数的调用次数，但它遗漏了一些关键的信息：是哪个函数让运行这么慢？
可是，这对于基础优化来说是个好的开始。有时候甚至能用更少的精力找到解决方案。我经常用它来在深入挖掘究竟是哪个函数慢或者调用次数过多之前来调试程序。
- 内建优点：没有额外的依赖并且非常快。对于快速的高等级检查非常有用。
- 内建缺点：信息相对有限，需要进一步的调试；报告有点不太直接，尤其是对于复杂的代码。
Line Profiler
如果内建的优化器是一门大炮，那么line profiler可以看作是一门离子加农炮。它非常的重量级和强大。
在这个例子里，我们会用非常棒的line_profiler库。为了容易使用，我们会再次用装饰器包装一下，这种简单的方法也可以防止把它放在生产代码里。
- try:
- from line_profiler import LineProfiler
- def do_profile(follow=[]):
- def inner(func):
- def profiled_func(*args, **kwargs):
- try:
- profiler = LineProfiler()
- profiler.add_function(func)
- for f in follow:
- profiler.add_function(f)
- profiler.enable_by_count()
- return func(*args, **kwargs)
- finally:
- profiler.print_stats()
- return profiled_func
- return inner
- except ImportError:
- def do_profile(follow=[]):
- "Helpful if you accidentally leave in production!"
- def inner(func):
- def nothing(*args, **kwargs):
- return func(*args, **kwargs)
- return nothing
- return inner
- def get_number():
- for x in xrange(5000000):
- yield x
- @do_profile(follow=[get_number])
- def expensive_function():
- for x in get_number():
- i = x ^ x ^ x
- return 'some result!'
- result = expensive_function()
- 如果你运行上面的代码，你就可以看到一下的报告：
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- Timer unit: 1e-06 s
- File: test.py
- Function: get_number at line 43
- Total time: 4.44195 s
- Line # Hits Time Per Hit % Time Line Contents
- ==============================================================
- 43 def get_number():
- 44 5000001 2223313 0.4 50.1 for x in xrange(5000000):
- 45 5000000 2218638 0.4 49.9 yield x
- File: test.py
- Function: expensive_function at line 47
- Total time: 16.828 s
- Line # Hits Time Per Hit % Time Line Contents
- ==============================================================
- 47 def expensive_function():
- 48 5000001 14090530 2.8 83.7 for x in get_number():
- 49 5000000 2737480 0.5 16.3 i = x ^ x ^ x
- 50 1 0 0.0 0.0 return 'some result!'
你可以看到，有一个非常详细的报告，能让你完全洞悉代码运行的情况。不想内建的cProfiler，它能计算话在语言核心特性的时间，比如循环和导入并且给出在不同的行花费的时间。
这些细节能让我们更容易理解函数内部。如果你在研究某个第三方库，你可以直接将其导入并加上装饰器来分析它。
一些小技巧：只装饰你的测试函数并将问题函数作为接下来的参数。
- Line Profiler 优点：有非常直接和详细的报告。能够追踪第三方库里的函数。
- Line Profiler 缺点：因为它会让代码比真正运行时慢很多，所以不要用它来做基准测试。这是额外的需求。
总结和最佳实践
你应该用更简单的工具来对测试用例进行根本的检查，并且用更慢但能显示更多细节的line_profiler来深入到函数内部。
九成情况下，你可能会发现在一个函数里循环调用或一个错误的数据结构消耗了90%的时间。一些调整工具是非常适合你的。
如果你仍然觉得这太慢，而是用一些你自己的秘密武器，如比较属性访问技术或调整平衡检查技术。你也可以用如下的方法：
1．忍受缓慢或者缓存它们
2．重新思考整个实现
3．更多使用优化的数据结构
4．写一个C扩展
注意了，优化代码是种罪恶的快感！用合适的方法来为你的Python代码加速很有意思，但是注意不要破坏了本身的逻辑。可读的代码比运行速度更重要。先把它缓存起来再进行优化其实更好。
译文链接：http://blog.jobbole.com/54057/
评论关闭