大数据学习(十)hive函数split、explode、lateral view用法

这三个函数老是一同出现,今天放到一起来讲讲

一、split函数 — 分割函数

返回值:array

例子: hive> select split(‘abcdef’, ‘c’) from test; [“ab”, “def”]

如果遇到特殊字符,需要加上转义字符\

二、explode函数 — 行转列

explode()函数是用于打散行的函数,将一行的数据拆分成一列
语法: explode(array/map类型)
参数必须为map或array

例子:

select (array(‘A’,’B’,’C’,’D’)) as zimu

三、 lateral view函数

lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。

在其他博主看到的,值得借鉴!

使用lateral view的时候需要注意的几点:

  1. lateral view的位置是from后where条件前;

  2. 生成的虚拟表的表名不可省略;

  3. from后可带多个lateral view;

  4. 如果要拆分的字段有null值,需要使用lateral view outer 替代,避免数据缺失,这个坑我在工作中踩过!

Original: https://blog.csdn.net/weixin_44702289/article/details/126773796
Author: 阿齐(努力打工版)
Title: 大数据学习(十)hive函数split、explode、lateral view用法

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/817853/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球