抓取需要选择日期才有结果的ajax网站需要怎么解决,选择日期ajax,需要爬取三峡水库的实时水
抓取需要选择日期才有结果的ajax网站需要怎么解决,选择日期ajax,需要爬取三峡水库的实时水
需要爬取三峡水库的实时水情数据,可以在网页中选择日期显示水情信息,如果一天天选择再复制数据发现很是耗时,我现在需要将下图中三峡水利枢纽2014年-2016年每天的数据爬下来。
网址如下:
http://www.ctgpc.com.cn/sxjt/...
通过浏览器自带的检查工具,右键检查元素,查看 network,查看调用的 ajax API 地址:初步分析后发现是通过ajax调用了以下网址,并用POST传递了一个日期数据,例如今天2017-02-15给该网址:
http://www.ctgpc.com.cn/eport...
Header如下:
Response如下:
之前有搜索到类似的问题:https://segmentfault.com/q/10...
但是按照回答并没能解决我的疑惑,因此在这里求助各位前辈,麻烦大家了
可以利用requests库模拟post提交。 从游览器检查工具可以看到传的参数是time:2017-02-07。定义data={"time": 日期譬如2017-02-07}。 然后你可以写个循环,循环一次日期往后加一天。然后就r = requests.post("url", data=data, header=****)。 取出数据保存入库。每次循环嫌慢的话,可以加上gevent这个协程库加快速度,看你也就想抓2年的数据循环365*2次就OK了
都已经拿到Json串了,数据更好拿了啊
抓包,再模拟post或get
看看下面的内容
Python爬虫联想词视频和代码
https://zhuanlan.zhihu.com/p/...
跟黄哥学Python爬虫抓取代理IP和验证。
https://zhuanlan.zhihu.com/p/...
跟黄哥学Python爬虫抓取代理IP
https://zhuanlan.zhihu.com/p/...
你已经看到了那个包含数据的请求,那么你的问题是什么呢?
编橙之家文章,
相关内容
- 自动检测当前运行环境版本的python方法是什么,运行环
- Windows下Python解决乱码问题应该怎么做,python乱码,刚接
- 用python完成依据列表中的元素画条形码怎么写源码,
- jinja2对内容进行替换时排除大括号内容如何操作,jin
- Python字典查找value中包含指定字符串key如何实现,pyth
- python爬虫运行一段时间后,返回403 forbidden原因是什么,
- Python实时数据更新解决方法,python实时数据,比如,实现
- pip安装之后无法正常使用环境变量已配置,pip环境变量
- import test.py不能执行又不报错是什么原因,importtest.py
- Flask捕获web用户点赞行为希望各位指导,flaskweb,最近在
评论关闭