由于需要使用提供 HTTP 服务，所以先安装了 FLASK 框架（可选）
一、安装 Flask 框架（可选）
1. 虚拟环境
建议使用虚拟环境来管理开发和生产环境中的项目依赖关系。
[En]
It is recommended that virtual environments be used to manage project dependencies in both development and production environments.
为什么要使用虚拟环境？随着你的 Python 项目越来越多，你会发现不同的项目 会需要不同的版本的 Python 库。同一个 Python 库的不同版本可能不兼容。
虚拟环境可以为每一个项目安装独立的 Python 库，这样就可以隔离不同项目之 间的 Python 库，也可以隔离项目与操作系统之间的 Python 库。
Python 内置了用于创建虚拟环境的 venv 模块。
2. 创建一个虚拟环境安装 Flask
创建一个项目文件夹，然后创建一个虚拟环境。创建完成后项目文件夹中会有一个 venv 文件夹
$ mkdir recommend
$ cd recommend
$ python3 -m venv venv
$ pip3 install Flask
二、安装 SPARK
依赖 java1.8环境，若无则先安装
访问 Spark 官网下载 下载需要的版本
sudo mv spark-3.2.0-bin-hadoop3.2.tgz /usr/local
sudo tar -zvxf spark-3.2.0-bin-hadoop3.2.tgz
sudo mv spark-3.2.0-bin-hadoop3.2 spark
sudo vim ~/.bash_profile
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.2-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/python:$PATH
source ~/.bash_profile
二、安装 pyspark
pip3 install pyspark
pip3 install numpy
三、启动 pyspark
pyspark
问题
在启动 pyspark 时发现 WARING: WARN NativeCodeLoader: Unable to load native-hadoop library for your platform.
Original: https://blog.csdn.net/haolinbird/article/details/121164100
Author: 满满和米兜
Title: 推荐系统-安装Python开发环境(二)
相关阅读
Title: Python之pip命令指定安装源和版本
背景
用pip安装依赖包时默认访问 https://pypi.Python.org/simple/。该路径经常出现不稳定以及访问速度非常慢的情况，国内厂商提供的一些pipy镜像可以加快下载速度，目前可用的有：
- 清华：https://pypi.tuna.tsinghua.edu.cn/simple
- 阿里云：http://mirrors.aliyun.com/pypi/simple/
- 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
- 华中理工大学：http://pypi.hustunique.com/
- 山东理工大学：http://pypi.sdutlinux.org/
- 豆瓣：http://pypi.douban.com/simple/
- 搜狐镜像：http://mirrors.sohu.com/Python/
- 百度镜像：https://mirror.baidu.com/pypi/simple
安装方式1–直接安装：
pip install package-name
安装方式2–下载whl文件后安装：
pip install package-name.whl
安装方式3–镜像源安装
pip install package-name -i mirror-path
指定镜像源安装–细节
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
有两种方法可以使用我们自己指定的镜像源。
[En]
There are two ways to use our own designated mirror source.
方式1：每次手动输入指定
pip install -i http://pypi.douban.com/simple Flask -- trusted-host pypi.douban.com
或者
pip install Flask -i http://pypi.douban.com/simple -- trusted-host pypi.douban.com
缺点：此方法在每次安装时手动指定
[En]
Cons: this method is manually specified at each installation
方式2：在当前用户目录下创建.pip文件夹。
Linux下，修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加”.”，表示是隐藏文件夹)
mkdir ~/.pip
然后在该目录下创建pip.conf文件填写
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
上面配置是针对OSX／Linux系统，如果是Windows，那么创建%HOMEPATH%\pip\pip.ini文件来配置。
例如：C:\Users\fxl\pip\pip.ini
pip.ini配置的主要一些配置：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
新增：一般本地会有多个python版本，创建多个pip.ini文件（与自己的安装时pip命名对应）
清华镜像源使用帮助：
转自： Python之pip命令指定安装源和版本_慕城南风的博客-CSDN博客_pip 指定源
Original: https://blog.csdn.net/Strive_For_Future/article/details/126587870
Author: wzg2016
Title: Python之pip命令指定安装源和版本
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/304553/
转载文章受原作者版权保护。转载请注明原作者出处！
