Python处理gzip压缩过的网页,python处理gzip压缩,大多数网站都对支持gzi


大多数网站都对支持gzip压缩的浏览器做了gzip的压缩,在python中可以通过gzip包处理gzip压缩过的网页:

如下代码:

from StringIO import StringIOimport gziprequest = urllib2.Request('http://byrx.net/')request.add_header('Accept-encoding', 'gzip')response = urllib2.urlopen(request)if response.info().get('Content-Encoding') == 'gzip':    buf = StringIO( response.read())    f = gzip.GzipFile(fileobj=buf)    data = f.read()

评论关闭