Python pycurl模块 学习，,pycurl模块的安

Python pycurl模块 学习，,pycurl模块的安

pycurl模块的安装方法如下：easy_installpycurl#easy_install安装方法pipinstallpycurl#pip安装方法#源码安装方法#要求curl-config包支持，需要源码方式重新安装curl#wgethttp：//curl.haxx.se/download/curl-7.36.0.tar.gz#tar-zxvfcurl-7.36.0.tar.gz#cdcurl-7.36.0#./configure#make&&makeinstall#exportLD_LIBRARY_PATH=/usr/local/lib##wgethttps：//pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz--no-check-certificate#tar-zxvfpycurl-7.19.3.1.tar.gz#cdpycurl-7.19.3.1#pythonsetup.pyinstall--curl-config=/usr/local/bin/curl-config模块常用方法说明pycurl.Curl()类实现创建一个libcurl包的Curl句柄对象，无参数。更多关于libcurl包的介绍见http://curl.haxx.se/libcurl/c/libcurltutorial.html。下面介绍Curl对象几个常用的方法。·close()方法，对应libcurl包中的curl_easy_cleanup方法，无参数，实现关闭、回收Curl对象。·perform()方法，对应libcurl包中的curl_easy_perform方法，无参数，实现Curl对象请求的提交。·setopt(option，value)方法，对应libcurl包中的curl_easy_setopt方法，参数option是通过libcurl的常量来指定的.参数value的值会依赖option，可以是一个字符串、整型、长整型、文件对象、列表或函数等。下面列举常用的常量列表：pycurl.Curl()#创建一个curl对象c.setopt(pycurl.CONNECTTIMEOUT，5)#连接的等待时间，设置为0则不等待c.setopt(pycurl.TIMEOUT，5)#请求超时时间c.setopt(pycurl.NOPROGRESS，0)#是否屏蔽下载进度条，非0则屏蔽c.setopt(pycurl.MAXREDIRS，5)#指定HTTP重定向的最大数c.setopt(pycurl.FORBID_REUSE，1)#完成交互后强制断开连接，不重用c.setopt(pycurl.FRESH_CONNECT，1)#强制获取新的连接，即替代缓存中的连接c.setopt(pycurl.DNS_CACHE_TIMEOUT，60)#设置保存DNS信息的时间，默认为120秒c.setopt(pycurl.URL，"http：//www.baidu.com")#指定请求的URLc.setopt(pycurl.USERAGENT，"Mozilla/5.2(compatible；MSIE6.0；WindowsNT5.1；SV1；.NETCLR1.1.4322；.NETCLR2.0.50324)")#配置请求HTTP头的User-Agentc.setopt(pycurl.HEADERFUNCTION，getheader)#将返回的HTTPHEADER定向到回调函数getheaderc.setopt(pycurl.WRITEFUNCTION，getbody)#将返回的内容定向到回调函数getbodyc.setopt(pycurl.WRITEHEADER，fileobj)#将返回的HTTPHEADER定向到fileobj文件对象c.setopt(pycurl.WRITEDATA，fileobj)#将返回的HTML内容定向到fileobj文件对象·getinfo(option)方法，对应libcurl包中的curl_easy_getinfo方法，参数option是通过libcurl的常量来指定的。下面列举常用的常量列表：c=pycurl.Curl()#创建一个curl对象c.getinfo(pycurl.HTTP_CODE)#返回的HTTP状态码c.getinfo(pycurl.TOTAL_TIME)#传输结束所消耗的总时间c.getinfo(pycurl.NAMELOOKUP_TIME)#DNS解析所消耗的时间c.getinfo(pycurl.CONNECT_TIME)#建立连接所消耗的时间c.getinfo(pycurl.PRETRANSFER_TIME)#从建立连接到准备传输所消耗的时间c.getinfo(pycurl.STARTTRANSFER_TIME)#从建立连接到传输开始消耗的时间c.getinfo(pycurl.REDIRECT_TIME)#重定向所消耗的时间c.getinfo(pycurl.SIZE_UPLOAD)#上传数据包大小c.getinfo(pycurl.SIZE_DOWNLOAD)#下载数据包大小c.getinfo(pycurl.SPEED_DOWNLOAD)#平均下载速度c.getinfo(pycurl.SPEED_UPLOAD)#平均上传速度c.getinfo(pycurl.HEADER_SIZE)#HTTP头部大小

#!/usr/bin/envpython#_*_coding:utf-8_*___author__=‘gaogd‘importos,sysimporttimeimportsysimportpycurlURL="http://www.baidu.com"#探测的目标URLc=pycurl.Curl()#创建一个Curl对象c.setopt(pycurl.URL,URL)#定义请求的URL常量c.setopt(pycurl.CONNECTTIMEOUT,5)#定义请求连接的等待时间c.setopt(pycurl.TIMEOUT,5)#定义请求超时时间c.setopt(pycurl.NOPROGRESS,1)#屏蔽下载进度条c.setopt(pycurl.FORBID_REUSE,1)#完成交互后强制断开连接,不重用c.setopt(pycurl.MAXREDIRS,1)#指定HTTP重定向的最大数为1c.setopt(pycurl.DNS_CACHE_TIMEOUT,30)#设置保存DNS信息的时间为30秒#创建一个文件对象,以”wb”方式打开,用来存储返回的http头部及页面内容indexfile=open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")c.setopt(pycurl.WRITEHEADER,indexfile)#将返回的HTTPHEADER定向到indexfile文件对象c.setopt(pycurl.WRITEDATA,indexfile)#将返回的HTML内容定向到indexfile文件对象try:#passc.perform()#提交请求exceptExceptionase:print"connecionerror:"+str(e)indexfile.close()c.close()sys.exit()NAMELOOKUP_TIME=c.getinfo(c.NAMELOOKUP_TIME)#获取DNS解析时间CONNECT_TIME=c.getinfo(c.CONNECT_TIME)#获取建立连接时间PRETRANSFER_TIME=c.getinfo(c.PRETRANSFER_TIME)#获取从建立连接到准备传输所消耗的时间STARTTRANSFER_TIME=c.getinfo(c.STARTTRANSFER_TIME)#获取从建立连接到传输开始消耗的时间TOTAL_TIME=c.getinfo(c.TOTAL_TIME)#获取传输的总时间HTTP_CODE=c.getinfo(c.HTTP_CODE)#获取HTTP状态码SIZE_DOWNLOAD=c.getinfo(c.SIZE_DOWNLOAD)#获取下载数据包大小HEADER_SIZE=c.getinfo(c.HEADER_SIZE)#获取HTTP头部大小SPEED_DOWNLOAD=c.getinfo(c.SPEED_DOWNLOAD)#获取平均下载速度#打印输出相关数据print"HTTP状态码:%s"%(HTTP_CODE)print"DNS解析时间:%.2fms"%(NAMELOOKUP_TIME*1000)print"建立连接时间:%.2fms"%(CONNECT_TIME*1000)print"准备传输时间:%.2fms"%(PRETRANSFER_TIME*1000)print"传输开始时间:%.2fms"%(STARTTRANSFER_TIME*1000)print"传输结束总时间:%.2fms"%(TOTAL_TIME*1000)print"下载数据包大小:%dbytes/s"%(SIZE_DOWNLOAD)print"HTTP头部大小:%dbyte"%(HEADER_SIZE)print"平均下载速度:%dbytes/s"%(SPEED_DOWNLOAD)#关闭文件及Curl对象indexfile.close()c.close()

本文出自 “奋斗吧” 博客，请务必保留此出处http://lvnian.blog.51cto.com/7155281/1871808

Python pycurl模块 学习