Python短视频爬虫教程,
Python短视频爬虫教程,
好难受,上次发了做游戏的居然没人看,每天为了给你们写啥,老夫心都操碎了~
真的是,今天来给大家爬一波短视频网站吧,都是些很养眼的~
网站地址在代码里面,大家用心一下就能看到了。
使用的软件
python 3.8 pycharm 2021.2
模块
requests parsel re concurrent.futures time warnings
不会安装模块看这篇:python模块的安装以及安装失败的解决方法
知道你们不想看那些步骤,我直接上代码吧
import requests import parsel import re import concurrent.futures import time import warnings # 取消警告 warnings.filterwarnings("ignore") def get_html(url): """发送请求获取网页源代码""" html_data = requests.get(url=url, verify=False).text return html_data def parse_data_1(html_data): """第一次解析, 拿到所有的详情页链接""" selector = parsel.Selector(html_data) url_list = selector.xpath('//a[@class="meta-title"]/@href').getall() return url_list def parse_data_2(html_data): """第二次解析, 获取视频链接""" video_url = re.findall('url: "(.*?)",', html_data)[0] return video_url def save(video_url): """保存视频""" title = video_url.split('/')[-1] # 取链接当中的字段作为标题 video_data = requests.get(video_url, verify=False).content # 发送网络请求 with open(f'video/{title}', mode='wb') as f: f.write(video_data) print(title, "爬取成功!!!") start_time = time.time() url = 'https://www.520mmtv.com/hd/rewu.html' # 1. 向目标网站发送请求 html_data = get_html(url=url) # 2. 第一次解析数据 提取详情页链接 url_list = parse_data_1(html_data=html_data) for info_url in url_list[:10]: # 3. 向详情页发送请求 html_data_2 = get_html(url=info_url) # 4. 第二次解析数据 提取视频播放地址 video_url = parse_data_2(html_data=html_data_2) # 5. 保存视频 save(video_url=video_url) print('花费时间:', time.time() - start_time)
到此这篇关于Python 短视频爬虫教程的文章就介绍到这了,更多相关Python 爬虫教程内容请搜索3672js教程以前的文章或继续浏览下面的相关文章希望大家以后多多支持3672js教程!
您可能感兴趣的文章:- Python 给我一个链接西瓜视频随便下载爬虫
- Python爬虫实战之批量下载快手平台视频数据
- Python爬虫实战之虎牙视频爬取附源码
- Python爬虫小练习之爬取并分析腾讯视频m3u8格式
- Python爬虫之m3u8文件里提取小视频的正确姿势
- Python爬虫之爬取哔哩哔哩热门视频排行榜
- Python爬虫爬取ts碎片视频+验证码登录功能
- python爬虫爬取某网站视频的示例代码
- python爬虫线程池案例详解(梨视频短视频爬取)
- Python 超简洁且详细爬取西瓜视频案例
评论关闭