前言
当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。 当执行任务计算的文件大小与文件数相对较小时，可以开启本地模式进行执行，效率相对集群模式会更高。
查看当前hive的本地模式情况
- 查看本地模式是否开启：set hive.exec.mode.local.auto;
- 查看启用本地模式允许的最大输入文件数：set hive.exec.mode.local.auto.input.files.max;
- 查看启用本地模式允许的最大文件大小：set hive.exec.mode.local.auto.inputbytes.max;
如下，默认关闭本地模式执行；本地模式下允许输入的最大文件数为4；最大文件大小为128M.
; 本地模式的执行效率
使用同样一段sql进行执行，运行效率如下：
集群模式：51秒；
本地模式：13秒。
SELECT
id,
COUNT(1)
FROM
test_table
WHERE
dt = '2022-04-23'
GROUP BY
id;
如何确定本地模式是否设置成功？
可以根据job的名称来判断，本地模式执行的job名称带有local标志，如下：
yarn集群的job：job_5690061100801_51019181；
本地模式下的job：job_local190266243_0001。
Original: https://blog.csdn.net/weixin_44896621/article/details/124530039
Author: 马孔多居民
Title: hive-本地模式设置
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/818427/
转载文章受原作者版权保护。转载请注明原作者出处！