python使用自定义user-agent抓取网页的方法,pythonuser-agent
python使用自定义user-agent抓取网页的方法,pythonuser-agent
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:
下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器
import urllib2 req = urllib2.Request('http://192.168.1.2/') req.add_header('User-agent', 'Mozilla 5.10') res = urllib2.urlopen(req) html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
相关内容
- python中常用检测字符串相关函数汇总,python字符串
- python获取本机外网ip的方法,pythonip
- 详解Python中with语句的用法,详解pythonwith语句
- Python代码调试的几种方法总结,python代码几种方法
- Python下的twisted框架入门指引,pythontwisted
- Python下的subprocess模块的入门指引,pythonsubprocess
- 用Python实现换行符转换的脚本的教程,python换行符教程
- 从Python的源码浅要剖析Python的内存管理,python内存管理
- 使用Python的Twisted框架编写简单的网络客户端,pythontw
- 使用Python的Twisted框架实现一个简单的服务器,pythontw
评论关闭