HIVE实现连续时间间隔时间序列

由于hive没有相应的循环操作和视图,但是可以借助窗口函数生成连续数字
思路:
1.找一个表用窗口函数生成连续数字(注意表的记录数要大于你要生成时间总数)
SELECT
row_number() OVER (ORDER BY 1) AS rk
FROM table a
LIMIT 10–要生成时间序列总数

HIVE实现连续时间间隔时间序列
2.将上面连续数字乘以时间间隔得到所有基于初始时间连续时间间隔
SELECT
row_number() OVER (ORDER BY 1)(时间间隔,比如:10) AS rk
FROM table a
LIMIT 10
HIVE实现连续时间间隔时间序列
3.利用dateadd函数将起始日期与上面连续时间间隔相加,得到连续日期
SELECT
dateadd(datetime ‘2005-02-28 00:00:00′,a.rk,’mi’) time
FROM
(
SELECT
row_number() OVER (ORDER BY 1)
10 AS rk
FROM table
LIMIT 10
) a

HIVE实现连续时间间隔时间序列

上面为每隔10分钟生成连续时间序列

思路2
若生成的时间序列比较少可以explode行转列+dateadd函数来实现
SELECT
dateadd(datetime ‘2005-02-28 00:00:00′,a.rk,’mi’) time
FROM
(
SELECT
explode(array(1, 5, 10)) rk
) a
;

HIVE实现连续时间间隔时间序列
2.使用posexplode+repeat+date_add
连续天
select
date_add(start_date,pos) as dt
from
(
select
‘2022-06-01′ as start_date
,’2022-07-15’ as end_date
)t
lateral view posexplode(split(repeat(‘1,’,datediff(end_date,start_date)),’,’)) tab as pos,val
;
HIVE实现连续时间间隔时间序列
2.1 连续小时
select
from_unixtime(t1.start_time+tab.pos*3600) as continue_time
from
(
select
unix_timestamp(datetime’2009-03-20 11:11:00′) as start_time —生成连续小时的开始时间
,unix_timestamp(datetime’2009-03-21 11:11:00′) as end_time —生成连续小时的结束时间
)t1
lateral view posexplode(split(repeat(‘1,’,cast((end_time-start_time)/3600 as int)),’,’)) tab as pos,val
;
HIVE实现连续时间间隔时间序列

Original: https://blog.csdn.net/weixin_42412645/article/details/125164881
Author: weixin_42412645
Title: HIVE实现连续时间间隔时间序列

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/818291/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球