分别用python2和python3伪装浏览器爬取网页内容,python2python3,但是很多时候我们要注
分别用python2和python3伪装浏览器爬取网页内容,python2python3,但是很多时候我们要注
python网页抓取功能非常强大,使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意,可能很多网站都设置了防采集功能,不是那么轻松就能抓取到想要的内容。
今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。
最基础的抓取:
#! /usr/bin/env python # -*- coding=utf-8 -*- # @Author pythontab import urllib.request url = "http://www.pythontab.com" html = urllib.request.urlopen(url).read() print(html)
但是...有些网站不能抓取,进行了防采集设置,所以我们要变换一下方法
python2中(最新稳定版本python2.7)
#! /usr/bin/env python # -*- coding=utf-8 -*- # @Author pythontab.com import urllib2 url="http://pythontab.com" req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 'Accept':'text/html;q=0.9,*/*;q=0.8', 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 'Accept-Encoding':'gzip', 'Connection':'close', 'Referer':None #注意如果依然不能抓取的话,这里可以设置抓取网站的host } req_timeout = 5 req = urllib2.Request(url,None,req_header) resp = urllib2.urlopen(req,None,req_timeout) html = resp.read() print(html)
python3中(最新稳定版本python3.3)
#! /usr/bin/env python # -*- coding=utf-8 -*- # @Author pythontab import urllib.request url = "http://www.pythontab.com" headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 'Accept':'text/html;q=0.9,*/*;q=0.8', 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 'Accept-Encoding':'gzip', 'Connection':'close', 'Referer':None #注意如果依然不能抓取,这里可以设置抓取网站的host } opener = urllib.request.build_opener() opener.addheaders = [headers] data = opener.open(url).read() print(data)
相关内容
- 让你的python程序同时兼容python2和python3,python2python3,下
- python3利用smtplib通过qq邮箱发送邮件,python3smtplib,详细代
- Python3中urlopen()详解,python3urlopen,函数原型如下:url
- Python2 和 Python3 的区别及兼容技巧,python2python3,说的是
- 移植到 Python 3,移植到python,我的做法是只用一个pyt
- 让你的python程序同时兼容python2和python3,python2python3,在
- 愉快地迁移到 Python 3,迁移python,未经许可,禁止转载!
- python的super关键字使用示例,pythonsuper关键字,super在单继
- Python3.6列表函数&方法,python3.6函数,函数:1、l
- PyCharm 配置远程python解释器和在本地修改服务器代码,
评论关闭