分析网页内容是否可以被python爬虫抓取的判断应该怎么写？，python爬虫,用Python27些爬虫
分析网页内容是否可以被python爬虫抓取的判断应该怎么写？，python爬虫,用Python27些爬虫
用Python27些爬虫，想要爬取一些网站，我需要判断网页是否可以爬取，第一反应是通过状态码来判断，但是写完运行后发现有许多目标网站访问它不存在的页面时会返回一个404错误页面，可他的状态码却是200，结果爬回来好多根本就不存在的页面。这个本来是网站设置的问题，但是现在也不能用状态码来判断了，请问还有什么方法可以正确判断一个页面是不是404该不该爬？
就算是页面状态码200，返回的404页面，应该和正常能爬取的页面html有不同的html元素吧，根据有没有特定的html元素来判断是不是404页面也行的
首先， 200 状态码，是网络连接状态， 所以你只判断200并不能满足所有网站。
其次， 写爬虫嘛， 你应该实际去看看这些网站的规则是什么，可以先人工判断下， 找找规律， 比如看看网页返回内容是不是有什么特点之类的。
做个网页内容的判断，如果他网页里面没有内容就直接返回。
编橙之家文章，
相关内容
- Sublime Text 2调用声明跳转设置方法，sublimetext,除了用C
- Python遍历字典中key最高效操作方法是什么，python操作方
- python捉虫下载图片报invalid mode ('ab') or filename错误,是什
- python空值在排序时是如何处理的，python排序处理,我对数
- Python pytesser验证码识别成功后,服务器显示验证码过期，
- mongoDB启动发生系统错误 1067怎么破?，mongodb1067,问题1：
- python内部函数能修改外部函数的值吗?怎么写?，python值
- Django request.POST获取中文参数显示不正常，djangorequest.
- 请问python方法如何抓取11平台积分，python抓取11平台,很
- Python html标签剔除功能，pythonhtml标签剔除,例如【11月
评论关闭