背景
平时在跑数据时，需要在查询语句前设置一些set语句，这些set语句中其中有一些是配置hive的各功能，另一些是可以达到优化的目的，本篇文章对一些常用的set语句进行总结
常用set设置
- 查询结果显示表头
执行完查询语句，输出结果时，会一起把字段的名字也打印出来
set hive.cli.print.header=true;
- 展示当前使用的数据库
主要是在命令行模式中使用，方便核查是否切换到相应的数据库下
set hive.cli.print.current.db=true;
- 设置是否使用元数据中的统计信息
比如想要看数据一共有多少行的话，一般是从元数据中的统计信息直接获取，但有时这个统计信息没有更新，得到的是历史的统计信息，则需要修改为false，然后再进行查询，才能统计出准确的数据
set hive.compute.query.using.stats=false;
- 设置Fetch抓取，不走job，不用执行MapReduce
一般用于快速获取样例数据，select * from talbe_xxx limit 100
set hive.fetch.task.conversion=more;
- 设置查询任取走哪个队列
一般公司的服务器集群中会配置好几个队列，不同的队列优先级不一样，并且资源配置有可能不一样，生产环境的任务肯定优先级高、计算资源多，数据分析的任务一般是单独的队列，计算资源少
set mapreduce.job.queuename=root.db;
- 是否开启严格模式
一般运维人员会设置为严格模式strict，防止大量数据计算占用资源，多出现在笛卡尔积join时；或者查询的是分区表，但没有指定分区，明明sql语句没有逻辑错误，但是一直报错无法运行，可以尝试修改为非严格模式，看是否能运行
set hive.mapred.mode=nonstrict;
- with as 语句存储在本地，从而做到with…as语句只执行一次，来提高效率
对于喜欢用with as形式查询的话，可以设置一下这个，来提升效率
set hive.optimize.cte.materialize.threshold=1;
- 配置计算引擎
Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎，分别是MapReduce、Tez、 Spark，默认为MapReduce
MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。
Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘 DAG有向无环图。 兼顾了可靠性和效率。一般处理天指标。
Tez引擎：完全基于内存。 注意：如果数据量特别大，慎重使用。容易OOM。一般用于快速出结果，数据量比较小的场景。
set hive.execution.engine=mr;
其他set设置
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;
set hive.exec.max.dynamic.partitions=1000
set hive.exec.max.dynamic.partitions.pernode=100
set hive.auto.convert.join = false;
set hive.mapjoin.smalltable.filesize=25000000;
历史相关文章
以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货
Original: https://blog.csdn.net/zhangtingduo/article/details/128016235
Author: 数据人阿多
Title: Hive 中的各种常用set设置
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/817728/
转载文章受原作者版权保护。转载请注明原作者出处！