python urllib2和httplib请求的速度比较实例测试,urllib2httplib,我要做一个事情,需要请求


我要做一个事情,需要请求几万个网站,每个网站请求几百次,来获取网页状态码和html内容。

测试了下httplib的速度是urllib2的好几倍

import timeprint time.time()import urllib2response = urllib2.urlopen('http://www.CodeSnipp.cn/') print response.getcode() a=response.read() response.close()print time.time()import httplib   conn = httplib.HTTPConnection("www.CodeSnipp.cn")   conn.request('get', '/')res = conn.getresponse()   print res.status   b=res.read()conn.close()   print time.time()#该片段来自于http://byrx.net

评论关闭