大数据-Hive内置函数与自定义函数

cwl_java

发布于 2019-12-26 16:04:07

89600

代码可运行

文章被收录于专栏：cwl_Javacwl_Java

运行总次数：0

代码可运行

3. Hive 函数

3.1. 内置函数

内容较多，见《Hive官方文档》官方文档

查看系统自带的函数

hive> show functions;

显示自带的函数的用法

hive> desc function upper;

详细显示自带的函数的用法

hive> desc function extended upper;

常用内置函数

# 字符串连接函数： 
concat <p class="mume-header " id="字符串连接函数-concat"></p> select concat('abc','def’,'gh'); 
# 带分隔符字符串连接函数： 
concat_ws <p class="mume-header " id="带分隔符字符串连接函数-concat_ws"></p> 
select concat_ws(',','abc','def','gh'); 
# cast类型转换 <p class="mume-header " id="cast类型转换"></p> 
select cast(1.5 as int); 
# get_json_object(json 解析函数，用来处理json，必须是json格式) 
<p class="mume-header " id="get_json_objectjson-解析函数用来处理json必须是json格式"></p> 
select get_json_object('{"name":"jack","age":"20"}','$.name'); 
# URL解析函数 <p class="mume-header " id="url解析函数"></p> select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST'); 
# explode：把map集合中每个键值对或数组中的每个元素都单独生成一行的形式 
<p class="mume-header " id="explode把map集合中每个键值对或数组中的每个元素都单独生成一行的形式"></p>

3.2. 自定义函数

Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
根据用户自定义函数类别分为以下三种：upper -->my_upper 3.1. UDF（User-Defined-Function）一进一出 3.2. UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于： count / max / min 3.3. UDTF（User-Defined Table-Generating Functions）一进多出如 lateral view explore()
官方文档
编程步骤： 5.1 继承org.apache.hadoop.hive.ql.UDF 5.2. 需要实现evaluate函数；evaluate函数支持重载；
注意事项 6.1 UDF必须要有返回类型，可以返回null，但是返回类型不能为void； 6.2. UDF中常用Text/LongWritable等类型，不推荐使用java类型；

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

hive