这三个函数老是一同出现,今天放到一起来讲讲
一、split函数 — 分割函数
返回值:array
例子: hive> select split(‘abcdef’, ‘c’) from test; [“ab”, “def”]
如果遇到特殊字符,需要加上转义字符\
二、explode函数 — 行转列
explode()函数是用于打散行的函数,将一行的数据拆分成一列
语法: explode(array/map类型)
参数必须为map或array
例子:
select (array(‘A’,’B’,’C’,’D’)) as zimu
三、 lateral view函数
lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。
在其他博主看到的,值得借鉴!
使用lateral view的时候需要注意的几点:
-
lateral view的位置是from后where条件前;
-
生成的虚拟表的表名不可省略;
-
from后可带多个lateral view;
-
如果要拆分的字段有null值,需要使用lateral view outer 替代,避免数据缺失,这个坑我在工作中踩过!
Original: https://blog.csdn.net/weixin_44702289/article/details/126773796
Author: 阿齐(努力打工版)
Title: 大数据学习(十)hive函数split、explode、lateral view用法
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/817853/
转载文章受原作者版权保护。转载请注明原作者出处!