写python爬虫 BeautifulSoup find_all 返回的list不按照网页顺序排序?,,我想爬糗百的段子,显示作
写python爬虫 BeautifulSoup find_all 返回的list不按照网页顺序排序?,,我想爬糗百的段子,显示作
我想爬糗百的段子,显示作者,和对应的段子,先只爬第一面
import requestsfrom bs4 import BeautifulSoup as bspage = 1url = "http://www.qiushibaike.com/hot/page/"r = requests.get(url+str(page))soup = bs(r.content,"html.parser")names = []for n in soup.find_all("a",{"href":True,"target":True,"title":True}): names += [n.h2.get_text()]print(names)
print 结果:
['威信红包接龙关注', 'ZBZBZBZ', '养贼专业户', '柱流年', '大风起兮雪飞扬', '依然家的麦芽糖', '小小&妖精', '苍南下山耍流氓,黑衣格哥买红糖', '九妹妹~', '亲爱de橄榄绿', '有点胖的妮妮', '污奇奇', '没办法就是这么帅', '亦龙', '哇噻~桃宝', '单名一个饭字', 'ni敢拿命疼我吗?', '许我三日暖', '半阙词曲丶', '谁动了我的粮食?']
html.fromstring xpath 也这样
from lxml import htmlimport requestspage = 1url = "http://www.qiushibaike.com/hot/page/"r = requests.get(url+str(page))tree = html.fromstring(r.content)print(tree.xpath('//*[@class="article block untagged mb15"]/div[1]/a[2]/h2/text()'))
print 结果:
['威信红包接龙关注', 'ZBZBZBZ', '养贼专业户', '大风起兮雪飞扬', '柱流年', '依然家的麦芽糖', '小小&妖精', '苍南下山耍流氓,黑衣格哥买红糖', '九妹妹~', '亲爱de橄榄绿', '有点胖的妮妮', '污奇奇', '没办法就是这么帅', '亦龙', '单名一个饭字', 'ni敢拿命疼我吗?', '许我三日暖', '半阙词曲丶', '根@儿', '我是你的绝无仅有']
但网页的实际显示顺序是:
['威信红包接龙关注', '养贼专业户', 'ZBZBZBZ', '柱流年', '有点胖的妮妮', '依然家的麦芽糖', '小小&妖精', '大风起兮雪飞扬', '苍南下山耍流氓,黑衣格哥买红糖', '九妹妹~', '亦龙'...]
如何让返回的list的元素的顺序和网页显示顺序相同?
应该是因为它页面的内容的排序是在变动的。他的排序是根据评论里面的个“好笑”数来排的,好笑 数字接近的,顺序变化正常,而且有时有新的段子加入这页。你浏览器取得页面的时间,和爬虫爬取的时间不一样,看到的段子顺序不一样很正常。
编橙之家文章,
相关内容
- apache服务器django socketio如何配置?,djangosocketio,测试运行
- Python类中装饰器使用与定义具体怎么操作,python装饰
- baidu云功能中有上传文件的接口吗?,baidu上传文件,初学
- 子字符串所在位置要怎么标记,有什么自带方法吗?,
- Python flup现在还在用吗?有什么替代,pythonflup,弱弱问问
- python异常的问题有代码求指教,关于raise语句,pythonrai
- Python urllib2读取网页打不开报urllib2.URLError错误,,使用
- 应该如何用matplotlib设置生成图片比例,,为了去除图片
- 测试数据库链接的API本地测试正常,链接服务器就报
- Python fetchall方法获取tuple转到form表单逐条显示如何实现
评论关闭