Python爬取安居客房源信息,轻松获取优质房源!,所以今天教大家用Py
Python爬取安居客房源信息,轻松获取优质房源!,所以今天教大家用Py
又到了所谓的金山银四就业季,那找工作的小伙伴宿舍住不惯的话,就会去租房子住,当然也不一定有宿舍,那么自己找房子的话,肯定是不知道哪哪好。
所以今天教大家用Python来采集本地房源数据,帮助大家筛选好房。
本文涉及知识点
- 爬虫基本流程
- requests 发送请求
- parsel 解析数据
- csv 保存数据
开发环境
Python 3.8
Pycharm
本文思路
一.、思路分析
找到数据来源
https://cs.anjuke.com/sale/p1/?from=navigation
二、代码实现
- 发送请求 & 获取数据
- 解析数据 (提取你想要的数据)
- 保存数据
代码展示
使用的模块
import requests import parsel import csv
发送请求 & 获取数据
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36' } # 为了防止大家看不懂,我特地录制了视频详细讲解,包括完整代码都打包好了。 # 我还准备了数百本电子书,大量的视频教程,直接在这个Q裙:708525271 加它自取。 response = requests.get(url, headers=headers, proxies=get_proxies()) html_data = response.text
解析数据
selector = parsel.Selector(html_data) divs = selector.xpath("//div[@class='property']") for div in divs: # 单个房源去提取 title = div.xpath(".//div[@class='property-content']//h3/text()").get().strip() house_type = ''.join(div.xpath(".//div[@class='property-content-info']//span/text()").getall()).strip() area = div.xpath(".//div[@class='property-content-info']/p[2]/text()").get().strip() direction = div.xpath(".//div[@class='property-content-info']/p[3]/text()").get().strip() floor = div.xpath(".//div[@class='property-content-info']/p[4]/text()").get("").strip() year = div.xpath(".//div[@class='property-content-info']/p[5]/text()").get("").strip() price_total = ''.join(div.xpath(".//div[@class='property-price']/p[1]/span/text()").getall()).strip() price_average = div.xpath(".//div[@class='property-price']/p[2]/text()").get().strip() print(title, house_type, area, direction, floor, year, price_total, price_average)
保存数据
csv_writer.writerow([title, house_type, area, direction, floor, year, price_total, price_average])
好了,今天的分享就到这里结束了,兄弟们快去试试吧!
相关内容
- 为了快速了解原神,我用Python爬取了原神所有角色信息
- python实现 获取b站主播直播间 粉丝牌信息,插件基于
- python实战-解析swagger-api接口信息,defdel_ws_
- 微信小程序的点击事件、页面跳转、数据绑定、数据修
- Python爬虫实战,requests+openpyxl模块,爬取手机商品信息
- Python爬取世界杯热搜榜,并制作脚本自动发送信息到邮
- 【k哥爬虫普法】非法入侵计算机信息系统,获取1500万
- 【GUI开发】用python爬YouTube博主信息,并开发成exe软件!
- 娱乐向:用 Python 爬 WCA(世界魔方协会)三阶魔方排行
- 利用Python编写密码检测器,输出详细信息~,我奕云:男
评论关闭