【爬虫实战】用Python采集任意小红书笔记下的评论,爬了10000多条,含二级评论!,我们继续分享Pyth
【爬虫实战】用Python采集任意小红书笔记下的评论,爬了10000多条,含二级评论!,我们继续分享Pyth
目录- 一、爬取目标
- 二、爬虫代码讲解
- 2.1 分析过程
- 2.2 爬虫代码
- 三、演示视频
- 四、获取完整源码
一、爬取目标
您好!我是@马哥python说 ,一名10年程序猿。
我们继续分享Python爬虫的案例,今天爬取小红书上指定笔记("巴勒斯坦"相关笔记)下的评论数据。
老规矩,先展示结果:
截图1:
截图2:
截图3:
共爬取了1w多条"巴勒斯坦"相关评论,每条评论含10个关键字段,包括:
笔记链接, 页码, 评论者昵称, 评论者id, 评论者主页链接, 评论时间, 评论IP属地, 评论点赞数, 评论级别, 评论内容。
其中,评论级别包括:根评论、二级评论及二级展开评论。
二、爬虫代码讲解
2.1 分析过程
任意打开一个小红书笔记的评论,打开浏览器的开发者模式,网络,XHR,找到目标链接的预览数据,如下:
由此便得到了前端请求链接,下面开始开发爬虫代码。
2.2 爬虫代码
首先,导入需要用到的库:
import requests
from time import sleep
import pandas as pd
import os
import time
import datetime
import random
定义一个请求头:
# 请求头
h1 = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
# cookie需定期更换
'Cookie': '换成自己的cookie值',
}
经过我的实际测试,请求头包含User-Agent和Cookie这两项,即可实现爬取。
其中,Cookie很关键,需要定期更换。那么Cookie从哪里获得呢?方法如下:
下面,开发翻页逻辑。
由于我并不知道一共有多少页,往下翻多少次,所以采用while循环,直到触发终止条件,循环才结束。
那么怎么定义终止条件呢?我注意到,在返回数据里有一个叫做"has_more"的参数,大胆猜测它的含义,是否有更多数据,正常情况它的值是true。如果它的值是false,代表没有更多数据了,即到达最后一页了,也就该终止循环了。
因此,核心代码结构应该是这样(以下是伪代码,主要是表达逻辑,请勿直接copy):
while True:
# 发送请求
r = requests.get(url, headers=h1)
# 解析数据
json_data = r.json()
# 逐条解析
for c in json_data['data']['comments']:
# 评论内容
content = c['content']
content_list.append(content)
# 保存数据到csv
。。。
# 判断终止条件
next_cursor = json_data['data']['cursor']
if not json_data['data']['has_more']:
print('没有下一页了,终止循环!')
break
page += 1
另外,还有一个关键问题,如何进行翻页。
查看请求参数,如下:
这里的游标,就是向下翻页的依据,因为每次请求的返回数据中,也有一个cursor:
大胆猜测,返回数据中的cursor,就是给下一页请求用的cursor,所以,这部分的逻辑实现应该如下(以下是伪代码,主要是表达逻辑,请勿直接copy):
while True:
if page == 1:
url = 'https://edith.xiaohongshu.com/api/sns/web/v2/comment/page?note_id={}&top_comment_id=&image_scenes=FD_WM_WEBP,CRD_WM_WEBP'.format(
note_id)
else:
url = 'https://edith.xiaohongshu.com/api/sns/web/v2/comment/page?note_id={}&top_comment_id=&image_scenes=FD_WM_WEBP,CRD_WM_WEBP&cursor={}'.format(
note_id, next_cursor)
# 发送请求
r = requests.get(url, headers=h1)
# 解析数据
json_data = r.json()
# 得到下一页的游标
next_cursor = json_data['data']['cursor']
另外,我在第一章节提到,还爬到了二级评论及二级展开评论,怎么做到的呢?
经过分析,返回数据中有个节点sub_comment_count代表子评论数量,如果大于0代表该评论有子评论,进而可以从sub_comments节点中爬取二级评论。
其中,二级展开评论,请求参数中的root_comment_id代表父评论的id,其他逻辑同理,不再赘述。
最后,是顺理成章的保存csv数据:
# 保存数据到DF
df = pd.DataFrame(
{
'笔记链接': 'https://www.xiaohongshu.com/explore/' + note_id,
'页码': page,
'评论者昵称': nickname_list,
'评论者id': user_id_list,
'评论者主页链接': user_link_list,
'评论时间': create_time_list,
'评论IP属地': ip_list,
'评论点赞数': like_count_list,
'评论级别': comment_level_list,
'评论内容': content_list,
}
)
# 设置csv文件表头
if os.path.exists(result_file):
header = False
else:
header = True
# 保存到csv
df.to_csv(result_file, mode='a+', header=header, index=False, encoding='utf_8_sig')
至此,爬虫代码开发完毕。
完整代码中,还包含转换时间戳、随机等待时长、解析其他字段、保存Dataframe数据、多个笔记同时循环爬取等关键逻辑,详见演示视频。
三、演示视频
代码演示:【Python爬虫】用python爬了10000条小红书评论,以#巴勒斯坦#为例
四、获取完整源码
get完整源码:【爬虫实战】用Python采集任意小红书笔记下的评论,爬了10000多条,含二级评论!
我是@马哥python说,一名10年程序猿,持续分享python干货中!
相关内容
- 使用Python获取建筑网站数据,进行可视化分析,并实现
- 解决使用mitmprox抓包可以访问网页,但是使用python req
- Python 模块:创建、导入和使用,模块是一个包含一组函
- 一周学会python4变量,包括变量和运算符在内
- Python 潮流周刊#24:no-GIL 提案正式被采纳了!,这里每
- Python 日期和时间处理教程:datetime 模块的使用,示例:
- 【matplotlib 实战】--箱型图,是一种用作显示一组数
- selenium 知网爬虫之根据【关键词】获取文献信息,虽然
- Python变量的作用域教程,但程序中的一个变量并
- Python reversed函数及用法,reserved()
评论关闭