Scrapy框架怎么直接读数据库中的URL地址进行抓取呢？，scrapyurl,比如我爬去了豆瓣的Top

文章由Byrx.net分享于2019-03-23 04:03:44评论（522）

比如我爬去了豆瓣的Top100页面，将每本书的详情页面的URL存入MongoDB中，然后我用Redis去重。然后从Redis中获取url去爬详细的数据。
现在有个问题

在Scrapy中，怎么处理MongoDB中url字段的值进入Redis。或许说。Scrapy怎么从数据库中获取url。

谢谢

在start_requests写不行吗？
比如
def start_requests(self):
r = Redis.Redis()while true: url = r.lpop('xxxx') yield scrapy.Request(url)

编橙之家文章，

热门文章：