一入python深似海--小爬虫

一入python深似海--小爬虫

一个从百度贴吧，爬取图片的例子。

包

urllib,urllib2，re

函数

page=urllib.urlopen('http://...') 返回一个网页对象

html=page.read() 读取网页的html源码

urllib.urlretrieve() 下载资源到本地

代码

#coding:utf8
import re
import urllib

def getHtml(url):
    page=urllib.urlopen(url)
    html=page.read()
    return html

def getImgUrl(html):
    reg=r'src="(.*?\.jpg)"'#?非贪婪匹配，()分组只返回分组结果，外单引号内双引号
    imgre=re.compile(reg)#编译正则表达式，加快速度
    imglist=re.findall(imgre,html)
    return imglist
url="http://tieba.baidu.com/p/3162606526"#贴吧地址
html=getHtml(url)
ImgList=getImgUrl(html)
ImgList= ImgList[1:10]#取前10个下载
print ImgList
x=0
for imgurl in ImgList:
    urllib.urlretrieve(imgurl,'%s.jpg' %x)
    x+=1