Python scrapy抓取淘宝数据可行吗,pythonscrapy,例如想抓取如下页面的数据
Python scrapy抓取淘宝数据可行吗,pythonscrapy,例如想抓取如下页面的数据
例如想抓取如下页面的数据
http://s.taobao.com/search?q=%BC%A1%CB%E1&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=1.72745%2053.1997520841.1&initiative_id=tbindexz_20150209
但是F12打开Chrome的开发者工具,在console中想查看页面的一些信息,例如:
$x('//div[@class="item"]')
想使用上面的xpath查看所有商品的信息,但是什么也没有输出,使用scrapy写了一个抓取页面item列表的爬虫也抓取不到,怀疑是页面是用JS动态生成的。
不知道有没有什么好的有关抓取淘宝数据的资源或者文章推荐,多谢了!
在结果页右键查看一下源代码,scrapy只能得到它。
而你在控制台看到的是js执行后的生成的dom。
如果想分析执行渲染后的页面,推荐楼主研究一下selenium和phantomjs。
编橙之家文章,
相关内容
- 这是一个关于判断浮点数的精度问题,求指导,点数精度
- python3.5 pip安装openpyxl不成功是什么原因,python3.5openpy
- python split函数返回None的疑问,pythonsplit,python split
- Python uwsgi初始配置操作几个问题,pythonuwsgi,我是新建的
- 大神帮我Python yield语句使用方法纠错,pythonyield,用递归
- 又是python乱码问题,excel类型文件单元格内数据有中文乱
- python的bs4库中如何筛选出SEO h1标签中内容,bs4seo,今天在
- 交互模式与编程模式正则表达式运行结果不同是什么原
- Python实现Grunt、Yo创建自定义命令效果方法是什么,py
- python2.7.x系列版本都有什么区别,python2.7.x系列版本,今
评论关闭