flask爬取电影更新数据

  • 10-1 运行会定时执行脚本 apscheduler Flask-APScheduler
  • 10-2 Python manage.py runjob -m test,执行的是jobs/task/test.py的类名叫做JobTask的run方法
  • 10-3 安装requirements.txt movie.py是爬虫代码
  • 10-4 将每一个列表页的内容爬取下来存储到本地 按日期存放
  • 10-5 解析列表页数据 将详情页数据和json存储到本地
  • 10-6 解析详情页数据放入json并创建到数据库
  • 10-7 讲数据存储到数据库中
    磁力链接通过ajax请求获取
    通过hash防止重复
    通过参数实现数据存储和解析分离
    25分钟处配置crontab定时任务
  • 11-1 从数据库获取数据展现首页 index.html index.py
  • 11-2 分页实现 include pagenation.html. help.py封装ipagenation方法
  • 11-3 index.py实现info详情页 info.html模板. 随机推荐 热门排序 点击量记录,可以在数据库加入(分类)字段,可以模仿(热门排序[11-3 20:00])实现,点击一个类别按钮传递分类参数给后端筛选展示
  • 12-1 uwsgi –ini uwsgi.ini
    uwsgi –stop /tmp/movie.pid
    nginx和uwsgi配合(16:00)通过nginx配置文件从80端口转发到uwsgi端口、setenforce 0 关闭防火墙、local-setting.py domain换成80端口

Original: https://blog.csdn.net/huangbangqing12/article/details/120533887
Author: 虚坏叔叔
Title: flask爬取电影更新数据

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/747462/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球