Python requests抓取速度变慢求分享应对经验，pythonrequests,前3分钟可以达到每秒10
Python requests抓取速度变慢求分享应对经验，pythonrequests,前3分钟可以达到每秒10
前3分钟可以达到每秒10个请求，后面就慢下来了，慢到每秒1个。有没有哪位大神有着方面的经验。
没有代码很难找到问题，
以我的经验，大部分爬虫慢的问题都是因为内存，建议你看一下werkzeug.utils里面cached_property的代码。
编橙之家文章，
相关内容
- 同样源码把requests库替换成scrapy抓取内容就报500错误,是
- 求帮分析python源码,路由不跳转的设置问题，python源码
- python缺陷吗try...except，except里只要有对应第一个try的错
- Python高效处理机制问题求助，python机制问题求助,求教比
- 邮件提示功能是如何用实现的,python能做吗?，邮件pyth
- django1.7获取参数问题求助，django1.7问题求助,这是网站结
- 如果对BSD协议的python 源代码进行了修改 声明该怎么写
- Python3中使用append添加字典元素出现问题，python3append,定
- python tornado中使用parse_command_line(final=False) final有何作用
- Python 《笨办法学python》38题keyerror问题，,我在敲《笨办
评论关闭