1、问题
在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况
排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件
参考文章：
https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html
https://blog.csdn.net/a5685263/article/details/103508097
但是只有问题，并没有针对spark的解决方案
2、解决方案
查看spark官方文档，找到一个参数
设置参数：spark.sql.hive.convertMetastoreOrc=false
问题得到解决
看文档的解释，这个参数的默认值是true，是spark操作orc表数据，默认使用内置的ORC reader和writer，替代hive的
但是遇到某些不兼容的情况，可能就直接报错或者读取不到数据了
下面这个Spark JIRA也印证了我的猜想：
https://issues.apache.org/jira/browse/SPARK-28098
; 补充：
后面在网上看到了这篇文章：
https://www.windism.cn/3387433632.html
这里解释的比较清楚了
另外对于Parquet格式，相应应该设置：spark.sql.hive.convertMetastoreParquet=false
Original: https://blog.csdn.net/li281037846/article/details/123282987
Author: Java小田
Title: spark sql读取不到orc格式hive表数据问题
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/818396/
转载文章受原作者版权保护。转载请注明原作者出处！