2月2日学习记录,,1,背诵单词:sub
2月2日学习记录,,1,背诵单词:sub
1,背诵单词:substitute:替代者,替代物 valid:有效的 wax:蜡,蜡状物 stubborn:顽固的,固执的 abstract:抽象的 ankle:踝关节,踝 occasionally:偶尔 trace:踪迹
export:出口,输出 scan:扫描,细看 stale:陈腐的,不新鲜的 venture:冒险行事 amongst:处在.....中 calculate:计算,估计 victim:牺牲者,受害者
aluminium:铝 explode:使爆炸 variable:变化的,可变的 vote:投票,选举 waiter:侍者,服务员 ton:吨 wolf:狼,贪婪的人 vacation:假期,休眠
2,学习Python爬虫的Scrapy框架的使用观看视频:https://www.bilibili.com/video/av9784617 从48集看到60集
发布博客:https://i-beta.cnblogs.com/posts/edit-done;postId=12254076
(一)Scrapy库概述
1,安装:运行D:\Python\Python36\python.exe -m pip install --upgrade pip命令升级
修改Python36文件的权限:https://www.cnblogs.com/liaojiafa/p/5100550.html
安装:D:\Python\Python36\python.exe -m pip install wheel
安装:D:\Python\Python36\python.exe -m pip install scrapy
安装过程出了很多问题,比如升级pip要修改Python文件的权限;安装Scrapy库前要安装wheel;还有教程要单独安装Twisted?xxx?win_amd64.whl,还有修改名称,结果一直不通过,一点用没有;最重要的是网络要好,不然网速太慢很多文件下载好多分钟最后保错还不知道什么地方出问题了。最后换了一个网,很快就安装成功了。
(二)Scrapy库的使用
爬取某个HTML:
建立过程: scrapy startproject python123demo
建立爬虫demo:scrapy genspider demo python123.io;建立demo.py文件
修改爬虫文件deom.py文件
运行爬虫:scrapy crawl demo
(1)request类:
(2)response类:
(3)Item类:类字典类型,可以按照字典类型操作;表示从HTML中提取的内容
CSS Selector:
3,练习写了爬取股票信息:发现requests库+BeautifulSoup库爬取多个网页时运行速度非常慢
4,明天计划继续背单词;继续学习使用Scrapy库爬取股票数据;学习Spark
2月2日学习记录
相关内容
- ubantu,安装pip3,修改默认Python版本号,,最近在阿里云
- 爬虫小案例:多协程工作,,为提高工作效率,让多
- 重闯Sqli-labs关卡第三天(11-15关),,前言今天早上学了学
- 高级变量类型(列表,元组,字典,字符串,公共方法
- [工具] 利用setuptools打包python程序,,一、准备工程文件
- python列表生成式应用案例,,什么是列表生成式?列
- 新年福利之Python轻松集齐五福!,集五福,新的一年又要
- 10、python函数,,前言:本文主要介绍p
- python 发送邮件及smtplib.SMTPAuthenticationError 503 错误处理,
- Neovim中提示Error: Required vim compiled with +python,,Neovim在编
评论关闭