pyspider cookies用requests设置cookies成功登录微博报错,pyspiderrequests,from pyspide
pyspider cookies用requests设置cookies成功登录微博报错,pyspiderrequests,from pyspide
from pyspider.libs.base_handler import *class Handler(BaseHandler): user_url = "http://weibo.cn/" crawl_config = { 'itag': 'v1', 'headers': { 'User-Agent':'Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1', "Host": "weibo.cn", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language": "zh-CN,zh-TW;q=0.8,zh-HK;q=0.6,en-US;q=0.4,en;q=0.2", "Accept-Encoding": "gzip, deflate", "DNT": "1", "Connection": "keep-alive" }, 'cookies':{ "_T_WM":"791e0d5962c38c757bead1a106a4dcc5", " ALF":"1489404939", " SCF":"AmNkSminRmi2L6WiP0tbn2H_p-TOZQIRRTLwEL5OhwHOohm56wHRk_9Jy1w7iXftduUAJihNuU3B-8cYnWBT3Lk.", " SUB":"_2A251modoDeRxGeNG7VEV9ibIyT6IHXVXZCkgrDV6PUJbktBeLXXZkW2HyTgXsruSYnviSU7hXUjfdGTOig..", " SUBP":"0033WrSXqPxfM725Ws9jqgMF55529P9D9W5wqBjzJ2m1XohsTfpMwPVx5JpX5o2p5NHD95Qf1hq0ShqRShzEWs4Dqcjci--fi-i8iK.7i--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-zRiKnf", " SUHB":"0tKqtAdy5rivMy", " SSOLoginState":"1486812984" } } @every(minutes=60*24 * 60) def on_start(self): self.crawl(Handler.user_url, callback=self.index_page,method="GET") @config(age=1 * 24 * 60 * 60) def index_page(self, response): print(response.text)
用requests可以实现登录效果,但是用pyspider是一直访问的是默认的未登录的网页
在crawl_config 和在self.crawl 中设置cookies都不行
建议你用selenium来做, 微博的登入好像要走一遍它的js,反正怎么验证登入的我是没看懂
pyspider 是在同一台机器上运行吗?
我不确定 cookie 前带空格有什么不同,分别用 pyspider 和 requests 发送请求到 http://httpbin.org/get 看看请求有什么不同
另外: 0.3.8 版本在调试时,crawl_config 不生效。
编橙之家文章,
相关内容
- 求CentOS中安装Python-PIP exec: python2.7: not found问题解决方法
- Python FTP上传时遇到10060错误是什么意思,python10060,#!/
- 有支持提取pdf类型文件的python第三方库或是方法吗?,
- Python怎么将16进制字符串转换成汉字输出呢,python进制
- 想用Python语言完成日志分析工作,请问这样的程序思路
- python爬虫批量爬取糗事百科段子,python糗事,刚学Pytho
- 关于Python字符串中ASCII字符映射的一个小问题,pythona
- lambda在这段代码中起到什么作用,大家帮看下,lambda代码
- pymssql安装正常import却不好用了什么原因,pymssqlimport原
- Python什么方法可以把amr格式转换成mp3格式?,pythonamr,从
评论关闭