注：笔记旨在记录，配置方式每个人多少有点不同，但大同小异，以下是个人爱好的配置方式.
平台：win10下的ubuntu虚拟机内
所用到的文件：
hadoop-2.7.3.tar
jdk-11.0.7_linux-x64_bin.tar.gz
scala-2.11.12.zip
spark-2.4.5-bin-hadoop2.7_Working_Config.zip
下载请点这里 ：s81k预先步骤：
将上述文件下载并拷贝到虚拟机共享目录下（mnt/hgfs/共享文件夹名字）（外部window平台操作）
将共享文件夹下文件拷贝到usr/local下（llinux虚拟机内操作）。
常用代码：
切换到管理员代码：sudo su
修改文件权限：sudo chown -R 用户名 文件名(/*)
设置环境变量：vim ~/.bashrc
应用环境变量：source ~/.bashrc
1.1 打开终端，进入到usr/local目录下，直接解压文件jdk-11.0.7_linux-x64_bin.tar.gz到当前目录下，并改名，代码如下：
cd //usr/local
sudo mv dk-11.0.7_linux-x64_bin java
1.2 配置环境变量：
vim ~/.bashrc
1.3 在打开文件中加入以下代码：
#JAVA
export JAVA_HOME=/usr/local/Java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:.
1.4 应用修改：
source ~/.bashrc
1.5 测试，能看到java版本则是配置成功：
java -version
2.1 创建文件.ssh: mkdir ~/.ssh
2.2 修改权限： chmod 700 ~/.ssh
2.3 生成公钥和私钥（一路回车）： ssh-keygen –t rsa
2.4 将密钥加入授权： cat ./id_rsa.pub >> ./authorized_keys
2.5 测试： ssh localhost
3.1 进入到usr/local目录下，直接解压文件hadoop-2.7.3.tar到当前目录下，并改名：
cd //usr/local
sudo mv hadoop-2.7.3 hadoop
3.2 修改文件权限：
sudo chown -R 用户名 hadoop
sudo chown -R 用户名 hadoop/*
3.3 查看版本号以及是否安装好：
uhadoop/bin/hadoop version
3.4 设置环境变量：vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
3.5 应用修改： source ~/.bashrc
3.6 修改配置文件：（hadoop/etc/hadoop目录下，个人直接找到文件打开用文本编辑器编辑了）
vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3.7 对namenode格式化： hadoop/bin/hadoop namenode –format
3.8 启动hadoop： hadoop/sbin/start-all.sh
3.9 检测进程： jps
有以下进程则是成功：
DateNode、nameNode、Jps、ResourceManager、SecondaryNameNode、NodeManager
4.1 进入到usr/local目录下，直接解压文件scala-2.11.12.zip到当前目录下，并改名：
cd //usr/local
sudo mv scala-2.11.12 scala
4.2 设置环境变量： vim ~/.bashrc
export SCALA_HOME=/usr/local/scala
4.3 应用修改： source ~/.bashrc
5.1 进入到usr/local目录下，直接解压文件spark-2.4.5-bin-hadoop2.7_Working_Config.zip
到当前目录下，并改名：
cd //usr/local
sudo mv spark-2.4.5-bin-hadoop2.7_Working_Config spark
5.2 设置环境变量： vim ~/.bashrc
export SPARK_HOME=/usr/local/hadoop
5.3 应用修改： source ~/.bashrc
5.4 配置spark：
vim spark-env.sh
export JAVA_HOME=/urs/local/java
export HADOOP_HOME=/urs/local/hadoop/
export HADOOP_CONF_DIR=//urs/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
所有环境变量（里面设置有一点点问题，不过不影响）： ~/.bashrc
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
5.5 启动spark（hadoop已经启动的情况下）：
cd usr/local/spark
bin/spark-shell
出现spark的欢迎界面，配置成功了！
Original: https://www.cnblogs.com/hmpn/p/13932413.html
Author: hmpn
Title: Linux下的ssh、scala、spark配置
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/620780/
转载文章受原作者版权保护。转载请注明原作者出处！