Spark在shell中调试

将需要调试的程序打包并上传到服务器目录/home/hadoop/test/test.jar[en]Package the program to be debugged and upload it to the server directory, / home/hadoop/test/test.jar

然后在脚本中为该目录指定–jars参数。[en]Then specify the– jars parameter to this directory in the script.

spark-shell --master yarn \
--queue prod \
--driver-memory 10G --executor-memory 10G --num-executors 50 --executor-cores 2  \
--jars /home/hadoop/test/test.jar \
--conf spark.driver.maxResultSize=20G \
--conf spark.port.maxRetries=16 \
--conf spark.executor.memoryOverhead=5120 \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.executor.extraClassPath=$HADOOP_PATH/lib/native \
--conf spark.driver.extraClassPath=$HADOOP_PATH/lib/native \
--name testSparkShell

Original: https://www.cnblogs.com/30go/p/16217934.html
Author: 硅谷工具人
Title: Spark在shell中调试

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6004/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部