scrapy框架采集时如何快速避开重复数据?,scrapy框架采集避开,目前有一只爬虫,爬取的文
scrapy框架采集时如何快速避开重复数据?,scrapy框架采集避开,目前有一只爬虫,爬取的文
目前有一只爬虫,爬取的文章数量不是很大,但是以后会慢慢累加上去.
不过现在要做的一个是,在爬取的时候,需要先判断这个url有没有存在数据库,如果存在就不插入了.
我目前想到的思路是,每次采集的时候,都做一下判断: ( 查询一下就数据库 )
但是这样感觉很低效.而且如果数据库里面有上百万的数据,每次都做一次判断那岂不是很慢!!?
有高效的方式吗?
1. scrapy对request的URL去重
yield scrapy.Request(url, self.parse, dont_filter=False)
注意这个参数:dont_filter=False
2. Jobs: 暂停,恢复爬虫
启用一个爬虫的持久化,运行以下命令:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
然后,你就能在任何时候安全地停止爬虫(按Ctrl-C或者发送一个信号)。
恢复这个爬虫也是同样的命令:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
这样爬虫断掉后,再启动会接着上次的 url 跑。
详细请看 https://www.howtoing.com/scra...
如果命令行里不想看到那么多输出的话,可以加个 -L WARNING 参数
运行爬虫如:
scrapy crawl spider1 -L WARNING
不打印Debug信息,可以清楚得看到运行过程。
编橙之家文章,
相关内容
- Ubuntu版本16:The following packages have unmet dependencies?,ub
- pyqt GUI类,继承自QTableWidget鼠标滚轮失效,pyqtqtablewid
- pyspider分布式控制某一工程的工作节点数量?,pyspide
- pyqt,tablewidget,单元格内容变化单元格背景颜色变化一
- python 调用selenium加载时间过长,pythonselenium,本人py新手
- 怎样防止对Python字符串变量转义,python字符串转义,例如
- keep-alive的http会话中用新的cookie、user-agent发起请求的结
- python暴力破解密码的问题,python暴力破解密码,我用自己
- Windows上Python3 pip安装出现UnicodeDecodeError,,我在通过pi
- pyqt tablewidget,实现一个快速定位到某一行并显示功能,
评论关闭