Python scrapy ImagesPipeline图片下载源码纠错,,运行环境操作系统:win
Python scrapy ImagesPipeline图片下载源码纠错,,运行环境操作系统:win
运行环境
操作系统:windows7 64位
python:2.7.6 64位
scrapy:scrapy-0.22.2
问题描述
使用ImagesPipeline 下载图片的时候,已经在setting.py中指定了图片的保存地址:
IMAGES_STORE = 'image-downloaded/'
但是 运行的时候,在“image-downloaded”目录下却没看到图片。
源码在这里下载
在pipline文件中增加了image_key函数,代码如下:
def image_key(self, url): year,month = url.split('/')[-3],url.split('/')[-2] image_guid = hashlib.sha1(url).hexdigest() img_path = "%s/%s/%s" % (year,month,self.title) return '%s/%s.jpg' % (img_path, image_guid)
Pipeline 里需要 image_key 返回文件名
刚刚仔细检查了下cmd输出:发现有个错误:
IOError: decoder jpeg not available
这个应该是pillow(pil的替代品)的问题,于是卸载了pillow(命令:pip uninstall pillow),然后重新安装了(命令:pip install pillow),发现无法下载,于是在Python第三方windows模块安装包下载对应版本的pillow进行安装,重新启动爬虫,发现图片可以正常下载了。
编橙之家文章,
相关内容
- 有让IDE可识别Python函数参数类型的方法吗,idepython,Py
- Python Flask-SQLAlchemy报sqlalchemy.exc.NoForeignKeysError是什么,
- django添加后台运行进程具体位置在哪里,django具体位置
- Python ORM关于Peewee定义models创建表问题,ormpeewee,比如c
- python框架都能会被使用到吗,python框架使用,框架太多了
- python菜鸟问题,return报错是什么原因引起的?,python
- 关于python数据库之间实时备份用django可以实现吗,pyt
- Beautifulsoup库内NavigableString是作什么用的?,,看文档没怎
- python语言中的二维数组怎么实现?,python二维数组, t
- python算法. 在球面上取随机N个均匀的点(或者间距不小于
评论关闭