虎牙直播数据采集,为数据分析做储备,Python爬虫120例之第24例

今天要抓取的是虎牙频道的直播页,本篇博客的学习重点,依旧是多线程爬虫。

虎牙直播数据采集,为数据分析做储备,Python爬虫120例之第24例

; 目标数据分析

本次要采集的数据列表呈现如下,其中数据在切换时,来自于服务器接口,故本案例为面向接口的多线程爬虫。

接口 API 如下所示:

https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&tagAll=0&callback=getLiveListJsonpCallback&page=2
https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&tagAll=0&callback=getLiveListJsonpCallback&page=3

接口请求方式为:GET
服务器数据返回格式为:JSON
其中参数说明如下:

  • m:猜测为频道的意思;
  • do:接口名称;
  • ta

Original: https://blog.csdn.net/hihell/article/details/119914288
Author: 梦想橡皮擦
Title: 虎牙直播数据采集,为数据分析做储备,Python爬虫120例之第24例

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/736640/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球