com
往分区表插数据时，需要指定分区。这样一次只能插入一个分区。
如果插入数据分散在多个分区中，就要通过动态分区功能，自动创建分区并填充。
hive中支持两种类型的分区：
静态分区SP（static partition）
动态分区DP（dynamic partition）
静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列是在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。
参数配置
默认值：false
是否开启动态分区功能，默认false关闭。
使用动态分区时候，该参数必须设置成true。
默认值：strict
动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区。
nonstrict模式：表示允许所有的分区字段都可以使用动态分区。
默认值：100
在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。
比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。
默认值：1000
在所有执行MR的节点上，最大一共可以创建多少个动态分区。
同上参数解释。
默认值：100000
整个MR Job中，最大可以创建多少个HDFS文件。
一般默认值足够了，除非你的数据量非常大，需要创建的文件数大于100000，可根据实际情况加以调整。
此处补充知识点：使用动态分区可能遇到分区文件数超10万的情况，解决办法参考distribute by控制分区文件数
默认值：false
当有空分区生成时，是否抛出异常。一般不需要设置。
case
set hive.exec.dynamic.partition = true;
set hive.exec.dynamic.partition.mode = nonstrict;
insert overwrite table t_part partition(year,month)
select id,name,orderdate,substring(orderdate,1,4),substring(orderdate,6,2) from t_temp;
日志：
Loading data to table test_neil.t_part partition (year=null, month=null)
Time taken for load dynamic partitions : 651
Loading partition {year=2016, month=12}
Loading partition {year=2017, month=01}
Loading partition {year=2016, month=11}
Time taken for adding to write entity : 1
Partition test_neil.t_part{year=2016, month=11} stats: [numFiles=1, numRows=5, totalSize=97, rawDataSize=92]
Partition test_neil.t_part{year=2016, month=12} stats: [numFiles=1, numRows=11, totalSize=210, rawDataSize=199]
Partition test_neil.t_part{year=2017, month=01} stats: [numFiles=1, numRows=2, totalSize=43, rawDataSize=41]
notice
1、尽量不要用动态分区，因为动态分区的时候，将会为每一个分区分配reducer数量，当分区数量多的时候，reducer数量将会增加，对服务器是一种灾难。
2、动态分区和静态分区的区别，静态分区不管有没有数据都将会创建该分区，动态分区是有结果集将创建，否则不创建。
3、hive动态分区的严格模式和hive提供的hive.mapred.mode的严格模式。
hive提供我们一个严格模式：为了阻止用户不小心提交恶意hql
hive.mapred.mode=nostrict : strict
如果该模式值为strict，将会阻止以下三种查询：
(1)对分区表查询，where中过滤字段不是分区字段。
(2)笛卡尔积join查询，join查询语句，不带on条件或者where条件。
(3)对order by查询，有order by的查询不带limit语句。
4、动态分区不允许主分区采用动态列而副分区采用静态列，这样将导致所有的主分区都要创建副分区静态列所定义的分区。
5、动态分区可以允许所有的分区列都是动态分区列，但是要首先设置一个参数：hive.exec.dynamic.partition.mode。
6、注意！！！
hive用了动态分区，若select语句无数据，则insert overwrite并不会覆盖。因为动态分区由select决定，select语句无数据，分区也无法确定，故无法实现动态覆盖。此时想要修正表数据，需要手动删除该分区。
ALTER TABLE pdata_ams.check_deposit_flow_day DROP IF EXISTS PARTITION(busi_date='2022-03-09');
Original: https://blog.csdn.net/qq_34224565/article/details/124869902
Author: zdkdchao
Title: hive-动态分区Dynamic Partition
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/817530/
转载文章受原作者版权保护。转载请注明原作者出处！