python爬虫模拟浏览器访问-User-Agent,,模拟浏览器访问-Us


模拟浏览器访问-User-Agent:

import urllib2#User-Agent 模拟浏览器访问headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}#通过urllib2.Request()方法构造一个请求对象request = urllib2.Request("http://www.baidu.com/",headers = headers)#向指定的URL地址发送请求,并返回服务器响应的类文件对象#response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法:response = urllib2.urlopen(request)#服务器返回的类文件对象支持python文件对象的操作方法#read()方法就是读取文件里的全部内容,返回字符串html = response.read()#返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题print response.getcode()#返回实际数据的实际URL,防止重定向问题print response.geturl()#返回服务器响应的HTTP报头print response.info()#打印响应内容print(html)

python爬虫模拟浏览器访问-User-Agent

评论关闭