python批量抓取美女图片,,我平时很喜欢美女图,
python批量抓取美女图片,,我平时很喜欢美女图,
学了python以后,知道python的抓取功能其实是非常强大的,当然不能浪费,呵呵。我平时很喜欢美女图,呵呵,程序员很苦闷的,看看美女,养养眼,增加点乐趣。好,那就用python写一个美女图自动抓取程序吧~~
其中用到urllib2模块和正则表达式模块。下面直接上代码:
用python批量抓取美女图片
#!/usr/bin/env python #-*- coding: utf-8 -*- #通过urllib(2)模块下载网络内容 import urllib,urllib2,gevent #引入正则表达式模块,时间模块 import re,time from gevent import monkey monkey.patch_all() def geturllist(url): url_list=[] print url s = urllib2.urlopen(url) text = s.read() #正则匹配,匹配其中的图片 html = re.search(r'<ol.*</ol>', text, re.S) urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I) for i in urls: url=i.group(1).strip()+str("jpg") url_list.append(url) return url_list def download(down_url): name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url) print name urllib.urlretrieve(down_url, "D:\\TEMP\\"+name) def getpageurl(): page_list = [] #进行列表页循环 for page in range(1,700): url="http://jandan.net/ooxx/page-"+str(page)+"#comments" #把生成的url加入到page_list中 page_list.append(url) print page_list return page_list if __name__ == '__main__': jobs = [] pageurl = getpageurl()[::-1] #进行图片下载 for i in pageurl: for (downurl) in geturllist(i): jobs.append(gevent.spawn(download, downurl)) gevent.joinall(jobs)
程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。。我就不多说了~~
相关内容
- python中json对象转换出错解决方法,pythonjson,经过调试,
- python通过thrift操作hbase实例,thrifthbase,关于thrift的论
- python使用matplotlib绘图详解,pythonmatplotlib,而且也可以方
- python用两种方法实现url短连接,pythonurl,比如新浪微薄中
- Python简单两步实现天气爬虫采集器,python采集器,呵呵,
- 使用python发送邮件和接收邮件,python发送邮件,今天来看
- Python生成验证码实例讲解,python实例讲解,包括我熟悉的
- python使用dbm持久字典(python微型数据库)详解,python
- python中mysql模块的内存泄露和中文乱码详解,pythonmysq
- python中smtplib使用注意点,pythonsmtplib使用,server.qui
评论关闭