Python Scrapy抓取数据

sel.xpath('//ul/li')

从

sel.xpath('//ul/li/text()').extract()

可以这样获取网站的标题：

可以这样获取网站的超链接：

当然，前面的这些例子是直接获取属性的方法。

我们注意到xpath返回了一个对象列表，

那么我们也可以直接调用这个列表中对象的属性挖掘更深的节点

（参考：Nesting selectorsandWorking with relative XPathsin theSelectors）：

sites = sel.xpath('//ul/li')
for site in sites:
    title = site.xpath('a/text()').extract()
    link = site.xpath('a/@href').extract()
    desc = site.xpath('text()').extract()
    print title, link, desc

3.4xpath实战

我们用shell做了这么久的实战，最后我们可以把前面学习到的内容应用到dmoz_spider这个爬虫中。

在原爬虫的parse函数中做如下修改：

qixuan@ubuntu:~/qixuan02/tutorial/tutorial/spiders$ cat dmoz_spider.py
from scrapy.spider import Spider  
from scrapy.selector import Selector  
  
class DmozSpider(Spider):  
    name = "dmoz"  
    allowed_domains = ["dmoz.org"]  
    start_urls = [  
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",  
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"  
    ]  
  
    def parse(self, response):  
        sel = Selector(response)  
        sites = sel.xpath('//ul/li')  
        for site in sites:  
            title = site.xpath('a/text()').extract()  
            link = site.xpath('a/@href').extract()  
            desc = site.xpath('text()').extract()  
            print title  

注意，我们从scrapy.selector中导入了Selector类，并且实例化了一个新的Selector对象。这样我们就可以像Shell中一样操作xpath了。

我们来试着输入一下命令运行爬虫（在tutorial根目录里面）：

scrapy crawl dmoz

运行结果如下：

果然，成功的抓到了所有的标题。但是好像不太对啊，怎么Top，Python这种导航栏也抓取出来了呢？

我们只需要红圈中的内容：

看来是我们的xpath语句有点问题，没有仅仅把我们需要的项目名称抓取出来，也抓了一些无辜的但是xpath语法相同的元素。

审查元素我们发现我们需要的

• 具有class='directory-url'的属性，

   

  那么只要把xpath语句改成sel.xpath('//ul[@class="directory-url"]/li')

  3.5使用Item

  接下来我们来看一看如何使用Item。

  前面我们说过，Item 对象是自定义的python字典，可以使用标准字典语法获取某个属性的值.

  作为一只爬虫，Spiders希望能将其抓取的数据存放到Item对象中。为了返回我们抓取数据，spider的最终代码应当是这样:

   

  from scrapy.spider import Spider  
  from scrapy.selector import Selector  
    
  from tutorial.items import DmozItem  
    
  class DmozSpider(Spider):  
      name = "dmoz"  
      allowed_domains = ["dmoz.org"]  
      start_urls = [  
          "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",  
          "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"  
      ]  
    
      def parse(self, response):  
          sel = Selector(response)  
          sites = sel.xpath('//ul[@class="directory-url"]/li')  
          items = []  
          for site in sites:  
              item = DmozItem()  
              item['title'] = site.xpath('a/text()').extract()  
              item['link'] = site.xpath('a/@href').extract()  
              item['desc'] = site.xpath('text()').extract()  
              items.append(item)  
          return items 

  4.存储内容（Pipeline）

  保存信息的最简单的方法是通过Feed exports，主要有四种：JSON，JSON lines，CSV，XML。

  我们将结果用最常用的JSON导出，命令如下：

   

  scrapy crawl dmoz -o items.json -t json

   

  然后来看一下导出的结果，用文本编辑器打开json文件即可（为了方便显示，在item中删去了除了title之外的属性）：

  

  因为这个只是一个小型的例子，所以这样简单的处理就可以了。

  最后目录下生成如下文件：