我总结了十个Python性能调优小技巧,你知道几个?,


1 多多使用列表生成式

替换下面代码:

  1. cube_numbers = [] 
  2.   for n in range(0,10): 
  3.     if n % 2 == 1: 
  4.       cube_numbers.append(n**3) 

为列表生成式写法:

  1. cube_numbers = [n**3 for n in range(1,10) if n%2 == 1] 

2 内置函数

尽可能多使用下面这些内置函数:

我总结了10个Python性能调优小技巧,你知道几个? 

3 尽可能使用生成器

单机处理较大数据量时,生成器往往很有用,因为它是分小片逐次读取,最大程度节省内存,如下网页爬取时使用yield。

  1. import requests 
  2. import re 
  3.  
  4. def get_pages(link): 
  5.   pages_to_visit = [] 
  6.   pages_to_visit.append(link) 
  7.   pattern = re.compile('https?') 
  8.   while pages_to_visit: 
  9.     current_page = pages_to_visit.pop(0) 
  10.     page = requests.get(current_page) 
  11.     for url in re.findall('<a href="([^"]+)">', str(page.content)): 
  12.       if url[0] == '/': 
  13.         url = current_page + url[1:] 
  14.       if pattern.match(url): 
  15.         pages_to_visit.append(url) 
  16.     # yield 
  17.     yield current_page 
  18. webpage = get_pages('http://www.example.com') 
  19. for result in webpage: 
  20.   print(result) 

4 判断成员所属关系最快的方法使用 in 

  1. for name in member_list: 
  2.   print('{} is a member'.format(name)) 

5 使用集合求交集

替换下面代码:

  1. a = [1,2,3,4,5] 
  2. b = [2,3,4,5,6] 
  3.  
  4. overlaps = [] 
  5. for x in a: 
  6.   for y in b: 
  7.     if x==y: 
  8.       overlaps.append(x) 
  9.  
  10. print(overlaps) 

修改为set和求交集:

  1. a = [1,2,3,4,5] 
  2. b = [2,3,4,5,6] 
  3.  
  4. overlaps = set(a) & set(b) 
  5.  
  6. print(overlaps) 

6 多重赋值

Python支持多重赋值的风格,要多多使用。

  1. first_name, last_name, city = "Kevin", "Cunningham", "Brighton" 

7 尽量少用全局变量

Python查找最快、效率最高的是局部变量,查找全局变量相对变慢很多,因此多用局部变量,少用全局变量。

8 高效的itertools模块

itertools模块支持多个迭代器的操作,提供最节省内存的写法,因此要多多使用,如下求三个元素的全排列:

  1. import itertools 
  2. iter = itertools.permutations(["Alice", "Bob", "Carol"]) 
  3. list(iter) 

9 lru_cache 缓存

位于functools模块的lru_cache装饰器提供了缓存功能,如下结合它和递归求解斐波那契数列第n:

  1. import functools 
  2.  
  3. @functools.lru_cache(maxsize=128) 
  4. def fibonacci(n): 
  5.   if n == 0: 
  6.     return 0 
  7.   elif n == 1: 
  8.     return 1 
  9.   return fibonacci(n - 1) + fibonacci(n-2) 

因此,下面的递归写法非常低效,存在重复求解多个子问题的情况:

  1. def fibonacci(n): 
  2.   if n == 0: # There is no 0'th number 
  3.     return 0 
  4.   elif n == 1: # We define the first number as 1 
  5.     return 1 
  6.   return fibonacci(n - 1) + fibonacci(n-2) 

10 内置函数、key和itemgetter

上面提到尽量多使用内置函数,如下对列表排序使用key,operator.itemgetter:

  1. import operator 
  2. my_list = [("Josh", "Grobin", "Singer"), ("Marco", "Polo", "General"), ("Ada", "Lovelace", "Scientist")] 
  3. my_list.sort(key=operator.itemgetter(0)) 
  4. my_list 

评论关闭