Python爬虫库Requests模拟用户登录实现方法,pythonrequests,比如要模拟登录 Segm
Python爬虫库Requests模拟用户登录实现方法,pythonrequests,比如要模拟登录 Segm
比如要模拟登录 SegmentFault,该用哪个方法呢?
import requestsurl = 'http://segmentfault.com/user/login'
如果你想学习怎么爬一个网页,去学学怎么写网页。
你连 GET/POST/HTTP/cookie 都不知道是什么的话。。
可以看 http://blog.binux.me/2013/09/howto-crawl-web/
登录一般的过程是:
1、POST 帐号密码
2、服务器给你写 cookie (至于为什么要写 cookie,学一学怎么写网页)
requests 是一个 HTTP 请求库,你只要模拟出 POST 请求就 ok 了。
而请求可以通过 chrome > network 工具查看。
使用requests.Session()。
示例如下:
pythons = requests.Session() # 可以在多次访问中保留cookies.post(login_url, {'username':username, 'password': password,}, headers=headers) # POST帐号和密码,设置headersr = s.get(url) # 已经是登录状态了
另外,很多网站会设置csrf或其他token保证安全或防抓取,建议从源代码,或chrome的开发者工具中观察一下。
关于requests.Session()可以参考官方文档:http://docs.python-requests.org/en/latest/user/advanced/#session-objects
关于登录例子,可以参考这篇文章,有很详细的requests登录网站的说明。
可以参考我的一篇文章 一步步爬取Coursera课程资源。
有pytesser库可以用来处理简单的验证码
在官方documation搜索simulate user login。
或者google Python scrapy simulate user login
其实,我觉得模拟用户登陆的难点在于验证码,到现在还没解决。http://segmentfault.com/q/1010000002421571
编橙之家文章,
相关内容
- Python文件百度云上传该怎么实现,,我写了一个文本编辑
- Python2.7使用urllib2访问https报错,python2.7urllib2,想要访问
- 求教RESTful设计实现方法的疑问,restful疑问,最近在写
- Python lambda作用范围的一点疑惑,pythonlambda,标题描述可
- Python实现函数调用新手遇到的问题,python函数调用新手
- 小白问python dict根据value取key值应该怎么写?,pythondict
- Python requests多线程抓取请求都报异常无解,pythonreques
- Python sys.path哪个命令可以代替append,sys.pathappend,如题。
- python3.x版本 通过urlopen打开一个以html结尾的网址 转换成
- python去重元给中有字典项怎么去重,python字典项,在 p
评论关闭