-
7、测试及使用 切换目录：
cd /usr/local/soft/spark-2.4.5/examples/jarsSpark on Yarn Client模式：日志在本地输出，一班用于上线前测试 -
提交自带的SparkPi任务
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 2 spark-examples_2.11-2.4.5.jar 100
Spark on Yarn Cluster模式：上线使用，不会在本地打印日志
- 提交自带的SparkPi任务
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 2 --executor-cores 1 spark-examples_2.11-2.4.5.jar 100
- 获取yarn程序执行日志 执行成功之后才能获取到
yarn logs -applicationId application_1652086375126_0002
- 8、开启Spark On Yarn的WEB UI 修改配置文件：
切换目录
cd /usr/local/soft/spark-2.4.5/conf
去除后缀
cp spark-defaults.conf.template spark-defaults.conf
修改spark-defaults.conf
vim spark-defaults.conf
加入以下配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/user/spark/applicationHistory
spark.yarn.historyServer.address master:18080
spark.eventLog.compress true
spark.history.fs.logDirectory hdfs://master:9000/user/spark/applicationHistory
spark.history.retainedApplications 15
创建HDFS目录用于存储Spark History日志
hdfs dfs -mkdir -p /user/spark/applicationHistory
启动Spark History Server
cd /usr/local/soft/spark-2.4.5/
./sbin/start-history-server.sh
Original: https://www.cnblogs.com/bfy0221/p/16842150.html
Author: 伍点
Title: Spark搭建
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/684881/
转载文章受原作者版权保护。转载请注明原作者出处！