scrapy入门教程1:scrapy环境配置以及安装,scrapy入门教程,我之前也是各种血泪史,完
scrapy入门教程1:scrapy环境配置以及安装,scrapy入门教程,我之前也是各种血泪史,完
0. 基本环境说明
- 本文截图及运行环境均在MAC OS X 10.9.5上实现,但基本步骤与win 7环境上相同(其实我是先在win7折腾了一把,然后为了写这篇教程,又在OS X 上面重新搞了一遍)
- scrapy版本为1.0
- 参考文献以及下载链接:
- anaconda下载链接
1. 基本环境配置
1. anaconda
刚接触python和机器学习的人,想必已经被python中眼花缭乱的安装包和相关类库搞的菊花一紧。我之前也是各种血泪史,完全没有老司机带着我。折腾了差不多半个月,python环境依旧装的破破烂烂。Windows和linux以及MACOS环境下都是演过了,各种蛋疼。直到某一天我见到了anaconda。才感觉这个世界上依旧是好人多,人间还是充满爱的。
anaconda是一个开源的、免费的python类库的集合,貌似一装就安装了200+的包,各种依赖包各种搞定。所以赶快戳顶层链接去下载吧。下面介绍的其他工具一些是anaconda自带的,一些是通过anaconda安装的,总之,anaconda是一切的基石。
2. MySQL 模块安装
anaconda模块竟然木有自带MySQL连接模块,用下面的命令来安装吧,后面抓取的内容要塞到数据库里面的哟~
conda install MySQL-python
3. scrapy 安装
下面就是安装scrapy了,其实也是简单的不要要的~,因为我们已经安装了anaconda,所以一切都简单的不要要的哟~,里面会让你有些包更新,直接输入y确认就好了。
conda install scrapy
注意:在使用conda install 安装的过程中,有时候因为网络问题或者其他问题会引起失败,此时要仔细看提示说明,寻找原因,如果是网络原因的话,重新输入以上命令即可~。我教研室有个师弟,因为网络原因装了8回,所以骚年洗洗菊花做好准备吧~
相关内容
- scrapy入门教程3:scrapy的shell命令,scrapyshell,(应该把
- Scrapy 示例 —— Web 爬虫框架,scrapy爬虫,假如你没有安
- Python 爬虫 (六) -- Scrapy 框架学习,pythonscrapy,可以应用在
- Python 爬虫(七)-- Scrapy 模拟登录,pythonscrapy,前两个参数
- 手把手教你写网络爬虫(4):Scrapy入门,爬虫scrapy,不
- Python爬虫-用Scrapy框架实现漫画的爬取,pythonscrapy, 本篇
- 使用Scrapy构建一个网络爬虫,scrapy构建爬虫,因为要考虑
- Python 招聘信息爬取及可视化,python招聘信息,于是为了
- 用Python爬取实习信息(Scrapy初体验),pythonscrapy, 正好
- 网络爬虫:使用Scrapy框架编写一个抓取书籍信息的爬虫
评论关闭