scrapy 安装 mysql_scrapy入门教程1:scrapy环境配置以及安装

  1. 基本环境说明

本文截图及运行环境均在MAC OS X 10.9.5上实现,但基本步骤与win 7环境上相同(其实我是先在win7折腾了一把,然后为了写这篇教程,又在OS X 上面重新搞了一遍)

scrapy版本为1.0

  1. 基本环境配置

  2. anaconda

刚接触python和机器学习的人,想必已经被python中眼花缭乱的安装包和相关类库搞的菊花一紧。我之前也是各种血泪史,完全没有老司机带着我。折腾了差不多半个月,python环境依旧装的破破烂烂。Windows和linux以及MACOS环境下都是演过了,各种蛋疼。直到某一天我见到了anaconda。才感觉这个世界上依旧是好人多,人间还是充满爱的。

anaconda是一个开源的、免费的python类库的集合,貌似一装就安装了200+的包,各种依赖包各种搞定。所以赶快戳顶层链接去下载吧。下面介绍的其他工具一些是anaconda自带的,一些是通过anaconda安装的,总之,anaconda是一切的基石。

  1. MySQL 模块安装

anaconda模块竟然木有自带MySQL连接模块,用下面的命令来安装吧,后面抓取的内容要塞到数据库里面的哟~

conda install MySQL-python

  1. scrapy 安装

下面就是安装scrapy了,其实也是简单的不要要的~,因为我们已经安装了anaconda,所以一切都简单的不要要的哟~,里面会让你有些包更新,直接输入y确认就好了。

conda install scrapy

注意:在使用conda install 安装的过程中,有时候因为网络问题或者其他问题会引起失败,此时要仔细看提示说明,寻找原因,如果是网络原因的话,重新输入以上命令即可~。我教研室有个师弟,因为网络原因装了8回,所以骚年洗洗菊花做好准备吧~

Original: https://blog.csdn.net/weixin_39823459/article/details/113226638
Author: weixin_39823459
Title: scrapy 安装 mysql_scrapy入门教程1:scrapy环境配置以及安装

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/792601/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 一文弄懂Python中的 if __name__ == __main__

    引言 在Python相关代码中,我们经常会遇到如下代码段: stuff if __name__ == "__main__": # do stuff 本文将尽可能…

    Python 2023年8月1日
    051
  • 关于pdd_zues接口probuf,zip处理后传输如何写

    博客园 :当前访问的博文已被密码保护 请输入阅读密码: Original: https://www.cnblogs.com/pythonywy/p/16292794.htmlAut…

    Python 2023年6月15日
    068
  • 二叉树的直径和最大距离问题

    原文地址: 二叉树的直径 给定一棵二叉树,你需要计算它的直径长度。一棵二叉树的直径长度是任意两个结点路径(边)长度中的最大值。 主要思路: 定义如下数据结构 public stat…

    Python 2023年10月20日
    040
  • python的多线程

    一、线程的概念 线程是CPU分配资源的基本单位。当一程序开始运行,这个程序就变成了一个进程,而一个进程相当于一个或者多个线程。当没有多线程编程时,一个进程相当于一个主线程;当有多线…

    Python 2023年7月31日
    083
  • Pandas复习笔记–自用

    数据分析:1.数据处理:1>.Pandas:1).numpy:1.概述:numpy是专注于数值计算的拓展包,其算法库是由C写成的(调用C的API),提供了核心数据类型ndar…

    Python 2023年8月18日
    041
  • 用ArkTs在鸿蒙系统上画一个世界杯海报

    偶然看到了CSDN关于世界杯的征文活动: 用代码画一个足球? 哈哈很有意思! 想了想,画一个自定义View(足球),当然是使用Canvas了,但除了Canvas还有没有其它方法呢?…

    Python 2023年9月15日
    048
  • Python生成requirements.txt的两种方法

    只导出当前环境使用的依赖包 python3 -m pip install pipreqs pipreqs . –encoding=utf8 –force –encoding=…

    Python 2023年8月11日
    080
  • node版本冲突怎么办?快使用nvm-windows

    前言 一般来说安装软件都喜欢安装最新版本的,我当然也不例外,电脑上已经有了最新版本的node了,最近看了个vue项目,由于使用版本可能比较老,在使用 npm install 时死活…

    Python 2023年6月12日
    067
  • 有没有想一场甜甜的恋爱?python带你采集相亲网站数据~

    Original: https://www.cnblogs.com/Qqun261823976/p/16562373.htmlAuthor: python倩Title: 有没有想一…

    Python 2023年5月23日
    060
  • flask程序使用celery

    写在开头 celery是一个分布式并行框架,适合一些并行任务。跟web程序结合可以实现web程序和业务代码的解耦合,celery是采用多进程方式进行的,所以能够有效利用多核CPU。…

    Python 2023年8月10日
    052
  • 创建scrapy项目

    模块名职责是否需要实现Scrapy Engine(引擎)总指挥: 负债数据和信号在不同的模块之间传递scrapy 已经实现Scheduler(调度器)一个队列,存放引擎发过来的re…

    Python 2023年10月6日
    049
  • python实现计算移动平均值MA

    python实现计算移动平均值MA 原创 CorwinPC2022-07-18 17:54:15博主文章分类:Python ©著作权 文章标签 笔试题 算法 python 代码实现…

    Python 2023年5月25日
    059
  • Asp.Net Core使用NLog+Mysql的几个小问题

    项目中使用NLog记录日志,很好用,之前一直放在文本文件中,准备放到db中,方便查询。 项目使用了Mysql,所以日志也放到Mysql上,安装NLog不用说,接着你需要安装Mysq…

    Python 2023年6月12日
    058
  • 阿里云基于边缘云业务场景的 “前端智能化” 实践

    “前端智能化”存在的价值和意义,被不断拷问。 一部分人对”前端智能化”持拥抱态度,认为这是前端领域的一种革命性技术。 另一部分人则认…

    Python 2023年10月20日
    047
  • 秒会pygame:小鸟躲柱子的游戏(完整代码和素材)

    目录 预备知识 分步解读代码 完整的代码 素材 上一篇文章我们学会了pygame的一些基本函数,可将用键盘和鼠标移动物体了,这篇文章学习了碰撞函数之后,就可以做小鸟躲柱子的经典游戏…

    Python 2023年9月19日
    067
  • go和python的比较,获取当前时间是今年第几个星期

    获取当前时间是今年的第几周 golang: import ( "fmt" "time" ) func main() { datetime :…

    Python 2023年6月3日
    078
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球