python爬虫运行一段时间后,返回403 forbidden原因是什么，pythonforbidden,恩。我最近在弄个爬虫的程

短时间里访问次数过多造成的，设置规则，隔段时间访问

跟你的USER-AGENT没什么关系，一般网站都会自动屏蔽一段时间内访问量过大的ip。所以你有两个解决方案

一般网站没什么可能会用USER-AGENT来过滤的,但爬虫要尽量模拟浏览器的行为直到可以达到目的,python已经内建支持很多浏览器的特性了.下面是我用来抓某个需要登录的网站的代码,用了cookielib.

cj = cookielib.MozillaCookieJar(cookiefile)opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))data ={'csrfmiddlewaretoken' : '',             'username' : username,            'password' : password,            'login' : '登录',            'continue' : 'home',            'u' : '1',            'next' : ''            }    url="/accounts/login/"    request = urllib2.Request(__get_full_url(url))    response = opener.open(request)    for cookie in cj:        if  cookie.name == 'csrftoken':            data['csrfmiddlewaretoken'] = cookie.value        break    params = urllib.urlencode(data)#不能直接处理<unicode> objects    request = urllib2.Request(__get_full_url(url),data=params)    opener.open(request)  #保存登录状态,然后可以用这个opener,想干嘛就干嘛    cj.save(ignore_discard=True, ignore_expires=True)#保存cookie方便下次使用

当然具体案例要具体分析,善用抓包工具,推荐wireshark,留意header,cookie,post,有些网站会利用重定向的时候设置cookie.再不行就分析js代码.
到这一步大多数网站都逃不过你初有所成的咸猪手了.
如果有验证码,哈哈,那就修炼pyBrain吧.祝你早日炼成盖世咸猪手.

请问 怎么解决 页面资料分页的问题。