https类型网页python scrapy能爬取吗,pythonscrapy,想获得https://w
https类型网页python scrapy能爬取吗,pythonscrapy,想获得https://w
想获得https://www.facebook.com/feeds/page.php?format=json&id=1433215316907826中的alternate,但是爬虫返回404的网页错误
用Scrapy对https是不行的,你可以用Facebook的SDK
https://github.com/pythonforfacebook/facebook-sdk
到最后发现是proxy的问题。线上测试就没问题
这有个用scrapy爬取https的解决方法:http://stackoverflow.com/questions/23958073/scrapy-not-scraping-https
编橙之家文章,
相关内容
- Python2.7安装MySQLdb报failed with exit status错误,python2.7mys
- python折算汇率计算的小问题,python折算汇率,碰到了一个
- Python方法要加载1G数据到数组内如何操作,python数组,内
- 基于python2如何将txt内utf-8转换成中文,python2utf-8,在py
- Python默认参数调用疑惑,python参数疑惑,python文档中关于
- Django学习遇到瓶颈要如何继续学习,django瓶颈,RT,目前
- python class中的self _init_(self,param1,param2)怎么回事?,p
- Python switch case实现操作是怎样的,pythonswitch,Python里怎么
- Python模拟登录cookie有验证码要怎么做才能抓到内容,
- python html兼容空格问题,pythonhtml兼容空格,文本框里输入
评论关闭