python实现图片爬虫，, #encodin

python实现图片爬虫，, #encodin

    #encoding:utf-8      import sys      reload(sys)      sys.setdefaultencoding('utf8')      from sgmllib import SGMLParser      import re      import urllib      class URLLister(SGMLParser):            def start_a(self, attrs):              url = [v for k, v in attrs if k=='href']              if url : urll = url[0]              else : return               if urll :                      if urll in globalList : return                      if isSou(urll) :                          if sechDir(imgList , urll) > 0 :                               print 'Fetcher page at ' + ' img alredy saved ... ignore . Queue size : '+str(Queue.__len__())                              imgList.append(urll)                              return                          else :                                savImg(urll)                              imgList.append(urll)                              globalList.append(urll)                              print 'Fetcher page at ' + urll + ' save img complete as . Queue size : '+str(Queue.__len__())                      else :                              if sechDir(fetList , urll) > 0 :                                      imgList.append(urll)                                      return                               else :                                      imgList.append(urll)                                       enQ(urll)                                      print 'Fetcher page at ' + urll + ' a new url , append in Queue . Queue size : '+str(Queue.__len__())          def unknown_starttag(self , tag , attrs) :               return      fetList = [] # list of url listener fetched . 这是非资源url的历史列表，存在于此表中的url将不会再被爬取      imgList = [] # list of url saved pictures #这是资源url的历史列表，存在于此表中的资源不会再被下载      rgxStr = r'(http://www.bizhijidi.com/)*/wallpapers/[0-9]*/[0-9]*/[^x00-xff]*-900x1600.jpg' #这是需要下载资源的正则表达式，正则#表达式是啥我就不说了，不知道的自己去面壁。。      regrgStr = r'^(http://www.bizhijidi.com/)' #这是全局的网址正则匹配式      staURL = r'http://www.bizhijidi.com/' #这是起始的url      imgPath = r'/home/zhangjilun/bizhijidi/' #存放图片的本地路径      Queue = ['http://www.bizhijidi.com/'] #这是url队列，起始时只有起始url在里面      fileName = [] #filename全局列表。。。暂时木有用。。。留着备用      globalList = [] #全局url列表，用于第一次筛选url      #这是动态生成图片文件名的函数，就是取的url里的文件名      def changeName(url) :           if url :              s=url.split('/')          return s[-1]      #保存图片的函数，很简单的fileIO      def savImg(url) :          if url :              url = 'http://www.bizhijidi.com' + url               imgData = urllib2.urlopen(url).read()              imgName = changeName(url)              print imgName              p = imgPath + imgName              print 'File Path : '+p              output = open(p,'wb+')              print 'Saving img ... '              output.write(imgData)              output.close()              return 1          else :              return 0      #判断连接url是否符合站类url正则式，否则为站外连接，会被ignore掉      def inRange(url) :           if url :              #print 'cheak url is inrange : '              #print regrgStr              #print url              m = re.match(regrgStr , url)              if m : return 1              else : return 0          return 0      #判断url是否是一个资源图片url，同样用正则式实现      def isSou(url) :          if url :              #print 'cheak url is in source : '              #print url              m = re.match(rgxStr , url)              if m : return 1              else : return 0          return 0      #检查列表，如果列表中存在了该url，那么url会被ignore掉      def sechDir(List , url) :           if List : return -1          if url :               if List.__len__() == 0 :                   List.append(url)              else :                  if url in List : return 1                  else : return 0      #入队列函数      def enQ(url) :          Queue.insert(0 , url)          return 1      #出队列函数      def deQ() :          url = Queue.pop()          print 'Pop url : ' + url          return url      #判断队列是否为空      def cheakQ() :          if Queue.__len__() != 0 : return 1          else : return 0      #最后有一个主方法：      def readPage(url):          sock=urllib.urlopen(url)          listener = URLLister()          listener.feed(sock.read())          sock.close()          listener.close()          return      #每弹出一个url，就调用这个主方法。      #就像这样：      while cheakQ() != 0 :          #print 'Reading page ... Queue len : ' + str(Queue.__len__())           readPage(deQ())      print 'Fetcher complete ...'