scrapy爬取list中所有项,只爬一个就结束了什么原因,scrapylist,问个问题,为啥我的scr
scrapy爬取list中所有项,只爬一个就结束了什么原因,scrapylist,问个问题,为啥我的scr
问个问题,为啥我的scrapy在parse里面返回了Request的list,为啥还是只爬了第一个页面就结束了?
我没有处理Items,准备以后直接在parse函数里面存数据库的,跟这个有关系吗?
def parse(self, response): hxs = HtmlXPathSelector(response) result = [] for div in hxs.select("//div[@class='box']//li//div[@class='bassex']"): item = PoiItem() item['name'] = div.select('.//a/text()')[0].extract() item['url'] = div.select('.//a/@href')[0].extract() item['tag'] = div.select('.//span[@class="ic"]/a/@title').extract() item['sence'] = div.select('.//p[last()]/a/text()').extract() print item result.append(item) urls = self.getUrls(hxs) reqList = [] for url in urls: print 'push to Queue:'+ url self.doneSet[url] = True yield Request(url, callback=self.parse)
allow domain 写错了。。。。多加了http。。。找了一个小时
编橙之家文章,
相关内容
- 求问关于vim的问题,syntastic插件中文保存报错误,vimsy
- pycharm支持同时运行最多几个程序,pycharm运行程序,pyc
- list或字典数据中有汉字,怎么处理不会报错,list字典
- 请问socketserver+ssl+daemon客服端连接报错问题,socketserv
- Python好用的图形包工具有哪些,python图形包工,RT,有哪
- 用python获取自动更新的页面用什么方法,python自动更新
- Python删除目标词所在行的数据怎么操作,python目标词
- Python类变量与实例变量有何不同及使用方法请大家说说
- python numpy fromfunction()调用我的理解对不对,numpyfromfun
- 想用python开发一个查找附近人及商圈的程序,求思路,
评论关闭