https类型网页python scrapy能爬取吗,pythonscrapy,想获得https://w


想获得https://www.facebook.com/feeds/page.php?format=json&id=1433215316907826中的alternate,但是爬虫返回404的网页错误

用Scrapy对https是不行的,你可以用Facebook的SDK

https://github.com/pythonforfacebook/facebook-sdk

到最后发现是proxy的问题。线上测试就没问题

这有个用scrapy爬取https的解决方法:http://stackoverflow.com/questions/23958073/scrapy-not-scraping-https

编橙之家文章,

评论关闭