前言
我今天教的是每天攀登按摩院的数据。我不知道我是不是不会爬。仅在一座城市的前10页就有1000多家门店。如果你完成了攀登，你至少不能有3000人。现在的市场需求这么大吗？
[En]
What I teach today is to climb the data of massage parlors every day. I don’t know if I don’t climb. There are more than 1000 stores in the first 10 pages of a city alone. If you finish climbing, you can’t have at least 3000. Is the market demand so big now?
今天，不仅教代码，还带你四处走走。这只是一个散步。我从没去过那里。我只是好奇
[En]
Today, not only teach code, but also show you around. It’s just a stroll. I’ve never been there. I’m just curious.
再见。那晚。养生，一看就知道是一家服务很好的按摩院。
[En]
See you. The night. Health care, you can tell at a glance that it is a massage parlor with good service.
代码主要内容
- 动态数据抓包
- json数据解析
- requests模块的使用
- 保存csv
环境介绍
python 3.8 解释器
pycharm 编辑器
开始代码，先导包
import requests # 数据请求模块 第三方模块 pip install requests
import pprint # 格式化输出模块
import csv # 保存csv模块
发送请求
url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
因为它是字典数据类型
data = {
'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': 32,
'cateId': '-1',
'q': '按摩',
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
response = requests.get(url=url, params=data, headers=headers) # 发送请求
加上请求头 作用: 伪装
User-Agent：表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的
如果
解析数据, 提取我们想要的一些数据内容 (店铺信息)
searchResult = response.json()['data']['searchResult']
for 遍历 提取列表中的每一个元素内容
for index in searchResult:
# pprint.pprint(index)
href = f'https://www.meituan.com/xiuxianyule/{index["id"]}/'
dit = {
'店铺名字': index['title'],
'店铺类型': index['backCateName'],
'店铺商圈': index['areaname'],
'店铺评分': index['avgscore'],
'店铺评论量': index['comments'],
'人均消费': index['avgprice'],
'维度': index['latitude'],
'经度': index['longitude'],
'详情页': href,
}
csv_writer.writerow(dit)
print(dit)
翻页爬取
for page in range(0, 3201, 32):
url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
data = {
'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': page,
'cateId': '-1',
'q': '按摩',
}
这个是第二页和第三页的数据内容，每次翻页offset + 32
最后是保存数据
f = open('美团按摩店top2.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'店铺名字',
'店铺类型',
'店铺商圈',
'店铺评分',
'店铺评论量',
'人均消费',
'维度',
'经度',
'详情页',
])
csv_writer.writeheader() # 写入表头
运行代码，得到数据
可视化图表
导入数据
import pandas as pd
import numpy as np
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.globals import ThemeType #引入主题
df = pd.read_csv('美团按摩店top2.csv',encoding='utf-8',engine="python")
df.sample(5)
不同评分类型店铺数量
df4 = df.groupby('店铺评分')['店铺名字'].count()
df4 = df4.sort_values(ascending=False)
regions = df4.index.tolist()
values = df4.tolist()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add("", [z for z in zip(regions,values)])
.set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源：美团",pos_top="-1%",pos_left = 'center'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
)
c.render_notebook()
不同店铺类型店铺数量
df6 = df.groupby('店铺类型')['店铺名字'].count()
df6 = df6.sort_values(ascending=False)[:10]
df6 = df6.round(2)
regions = df6.index.tolist()
values = df6.tolist()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
.add("", [i for i in zip(regions,values)],radius=["40%", "75%"])
.set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18))
)
c.render_notebook()
前10页的店铺，按摩/足浴店有1016家，评分5分的有714家
Original: https://www.cnblogs.com/qshhl/p/15581685.html
Author: 松鼠爱吃饼干
Title: 别@我了，我就一个写代码的，我哪知道哪家是不正规的，Python爬取美团店铺数据，并可视化展示数据
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/510722/
转载文章受原作者版权保护。转载请注明原作者出处！