32位Python遭遇阻塞,32位python遭遇,在最近编写的一个爬虫程序
32位Python遭遇阻塞,32位python遭遇,在最近编写的一个爬虫程序
在最近编写的一个爬虫程序中,当访问过的url过多时程序就会运行到一半自动卡主不动了。不知道原因何在。在爬虫程序中,为了加快运行速度,开辟了四条进程同时索取URL。由于是刚刚接触Python不久。。因此实在找不到其他原因。现在怀疑可能是内存占用已满的缘故。进程资源使用情况截图如下:
这就是卡住的时候的进程资源占用情况
多进程访问的代码如下:
`temp_html_dict = {}
p = Pool(4)
response_dict_list = p.map(open_url, url_list)
p.close()
p.join()`
程序在访问的URL数量不是很多的时候是可以正常运行完的。由于实在不知道从哪里查起,因此不太清楚到底要给出什么有效信息。如果还需要其他信息,可以随时补充。
编橙之家文章,
相关内容
- python3 django1.8 多语言编码问题,python3django1.8,使用djan
- 大神帮忙看下20行的python代码,文件io和数据库插入太慢
- 用django做购物车,为什么购物车中相同的物品不能合并
- Python 协程的无限递归的问题,python协程递归,hi, 最近看
- Python 二维数组赋值,python二维数组赋值,grid = [[0,]
- 自动化重构方案与实践,自动化重构方案,如何进行代码
- python+webdriver想登录淘宝,输入用户名密码点登录后,提
- python把HTML存入Mysql,python存入mysql,用pyspider爬虫爬
- 知乎的qq登录怎么用python和webdriver定位到“账号密码登
- python爬虫模拟登陆,post后如何返回retUrl,pythonreturl,想
评论关闭