python-requests模块，,requests模块

python-requests模块，,requests模块

requests模块

一、发送请求

向某个url发送get请求

requests.get("https://www.baidu.com")

发送一个post请求

requests.post("https://www.baidu.com",data={"name":"zhuyu"})

发送其他类型的请求也都可以

二、传递url参数

get请求传递参数

arg = {"name":"zhuyu","password":"123"}requests.get("www.baidu.com",params=ars)

post请求传递参数

data = {"key":"value"}requests.post("www.baidu.com",data=data)

三、响应内容

获取响应的内容

response = requests.get("www.baidu.com")html = response.text  # html就是网站的源码url = response.url    # 请求的url

二进制响应内容

response.content       # 返回的是二进制数据

json响应内容

response.json          # 如果响应的是json格式，它会自动帮你处理json数据，如果不能转换的话，会抛出异常# 注意有的服务器在失败的响应也会返回json对象，请使用raise_for_status()或者status_code进行校验

四、指定请求头

url = "www.baidu.com"headers = {    "user-agent":"xixi"}response = requests.get(url=url,headers=headers)

五、复杂的post请求

传递类似html表单的数据

url = "www.baidu,com"data = {"name":"zhuyu"}requests.post(url=url,data=data)

传递json格式数据

import jsonurl = "www.baidu,com"data = {"name":"zhuyu"}# 方式一：requests.post(url=url,data=json.dumps(data))# 方式二：requests.post(url=url,json=data)

六、上传文件

url = "www.baidu,com"files = {"file":open("a.txt","rb")}requests.post(url=url,files=files)

七、响应状态码

response = requests.get("www.baidu.com")status_code = response.status_code  # 获取状态码# 如果返回一个400，500的状态码，可以通过raise_for_status()来抛出异常

八、响应头

response.headers     # 这是响应的头部信息

九、cookie信息

获取响应头的cookie信息

cookie = response.cookie   #获取到cookie的字典

为requests设置cookie信息

# cookie它是RequestsCookieJar的对象cookies = requests.cookoes.RequestsCookieJar()cookies.set("name","zhuyu")cookies.set("password":"123")requests.get(url,cookies=cookies)

十、重定向与请求历史

history方法

这是response对象里的一个方法或者属性，它是一个对象列表，按照从最老到最近的请求进行排序的

allow_redirects参数，模式为True的

response = requests.get(url=url,allow_redirects=False)# 上面代码是禁止了重定向

十一、超时

你可以告诉reuqests在经过timeout参数设定的秒数时间之后停止等待响应

requests.get(url=url,timeout=5)

十二、错误与异常

十三、会话对象

会话对象让你在能够跨请求保持某些参数

# 拿到一个会话对象，这个会话同样能实现requests中的方法session = requests.Session()# 通过会话对象发送一个get请求到urlsession.get(url=url)------------------------------------------------------# 会话也可用来为请求方法提供数据session = requests.Session()session.headers.update({"name":"zhuyu"})session.get(url,headers={"age":22})# 此时在本次请求的请求中有name:"zhuyu"&age:22,这两对键值对------------------------------------------------------# 上面这个只是在会话层面，如果在方法层面呢？参数是不会被跨请求保持的session = requests.Session()session.get(url=url,cookies={"name":"zhuyu"})# 此时发送的get请求是带上"name"="zhuyu"这是cookie的# 下面还是同一个session对象，我再发一个get请求,此时我没有写cookies这个参数session.get(url=url)# 结果：你会发现本次请求没有带上cookie

十四、请求与响应对象

response = requests.get(url=url)# 列举下这行代码做了那几步# 1、生成了一个Request的对象，里面包含着所携带的数据，将该对象发送到某个服务器去请求# 2、一旦响应之后，就会产生一个Response的对象，这个对象包含着服务器传来的数据# 3、最后将这个Response对象赋值给了response这个变量------------------------------------------------------------------------response.headers # 就是响应的请求头response.request.headers  # 就是请求的请求头

十五、准备的请求(Prepared Request)

import requestsresponse = requests.get(url)# 其实请求最终还是以session对象发送的,session.send(Request对象,**kwargs)-------------------------------------from requests import Request,Sessionsession = Session()req = Request("GET",url)request=PreparedRequest(req)# 官方文档说，我们可以在session对象send之前，对PreparedRequest对象再进行一些操作response = session.send(request,                       stream=strean,                       verify=verify,                       proxies=proxies,                       cert=cert,                       timeout=timeout)print (response.status_code)

十六、SSL证书验证(verify)

Requests可以为HTTPS请求验证SSL证书，SSL验证默认是开启的，验证失败的话会抛出SSLError异常

# 设置证书路径# 方式一：request.get(url=url,verify=路径)# 方式二：session = requests.Session()session.verify = 路径# verify对应：SSL证书路径

十七、客户端证书(cret)

# cert :指定证书的路径requests.get(url=url,cert=路径)session = requests.Session()session.cert = 路径

十八、CA证书

requests默认附带了一套它信任的证书，如果系统中装了certifi包，requests会试图使用它里面的证书，这样用户就不需要在修改代码的情况下更新他们信任的证书，所以我们经常更新certifi包

十九、响应体内容工作流

# stream:控制响应体内容的下载response = requests.get(url,stream=True)

二十、流式上传(stream)

# requests可以上传文件with open("a.txt","rb") as f:    requests.post(url,data=f)    # 注意：传送的数据也就是文件，应该是一个文件对象# 强烈建议建议使用二进制

二十一、post上传多个分块编码的文件

files = []

二十二、事件挂钩(hooks)

'''可用的钩子：response，从一个请求产生的响应用法：传递一个字典给hooks这个变量 {hook_name:callback_function}这个callback_function会接收一个数据块作为它的第一个参数hooks = dict(response=print_url)'''def print_url(response,*args,**kwargs):    pass

二十三、代理(proxies)

import requestsproxies = {    "http":"http://10.10.1.10:3128",    "https":"https://10.10.1.10:1080"}response = requests.get(url=url,proxies=proxies)

python-requests模块