A任务中关联一张表，该表经过过滤和去重，数据量小于10MB，实际任务耗时较长。
B任务关联一张小表，实际任务耗时较长
A任务排查
查看spark UIsql界面：
问题1：发现并没有走广播join
观察此处join，对于76条数据的表，估计的大小超过10M，实际76条数据大小小于spark.sql.autoBroadcastJoinThreshold的值，导致这个问题的原因在对于broadcast join的官方介绍中提到，
参数名默认值说明spark.sql.autoBroadcastJoinThreshold10485760 (10 MB)Configures the maximum size in bytes for a table that will be broadcast to all worker nodes when performing a join. By setting this value to -1 broadcasting can be disabled.
由于脚本中存在中间的计算，导致不能正确的估算表的大小，
B任务排查
由于是关联小表，预期会走广播join,于是查看spark UIsql界面：
问题2：发现并没有走广播join
由于小表是直接读取，大小为15M，超过了广播join默认大小10M，所以没有走广播join
问题1： 先将select查到的数据生成为中间临时表，再去join起来，可以正常估算表的大小
问题2：
spark.sql.autoBroadcastJoinThreshold = 52428800
都走了广播join, 任务耗时减少
Original: https://blog.csdn.net/u014034497/article/details/127821811
Author: fir_dameng
Title: Spark性能调优案例-优化spark估计表大小失败 和 小表关联 走 broadcast join
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/211908/
转载文章受原作者版权保护。转载请注明原作者出处！
