数据湖计算 DLC 中支持使用用户自定义函数对数据进行处理构建,并支持管理函数。
创建函数
1. 登录 数据湖计算 DLC 控制台,选择服务地域,登录账号需具备数据库操作权限。
2. 入口一:进入数据管理页,切换至数据库页面,单击需要构建函数的数据库名称进入后,切换至函数创建
入口二:进入数据管理页,切换至函数页点击创建
3. 单击创建函数按钮,进入函数创建菜单。
函数包支持本地上传或使用 COS 上已有的 JAR、Python,本地上传JAR文件最大支持5M,Python文件最大支持2M
Python注册UDF为全局生效,配置入口为:进入数据管理页,切换至函数页点击创建。创建流程可参考:UDF 函数开发指南
需选择 spark 集群进行运行,运行过程中将不会产生任何费用。
建议将函数包保存到系统,方便对函数包进行管理及使用。同时也支持挂载至指定 COS 路径。
查看函数信息
1. 登录 数据湖计算 DLC 控制台,登录账号需具备数据库操作权限。
2. 进入数据管理页→数据库,单击需要查看函数的数据库名称。或进入数据管理页,切换至函数页全局查看。
3. 选择函数,即可查看函数的构建状态,若构建失败可编辑后再次提交。
4. 单击函数名称可直接查看函数详情信息。
编辑函数信息
1. 登录 数据湖计算 DLC 控制台,选择服务地域,登录账号需具备数据库操作权限。
2. 进入数据管理页,单击需要查看函数的数据库名称。
3. 选择函数,单击编辑按钮进入函数信息编辑页面。
暂不可修改函数名称、存储方式以及上传方式,如需修改此类信息可重新创建函数。
修改函数信息后,将进行重新构建,请谨慎操作。
删除函数
针对无需继续使用管理的函数,可对函数进行删除操作。
1. 数据湖计算 DLC 控制台,选择服务地域,登录账号需具备数据库操作权限。
2. 进入数据管理页,单击需要查看函数的数据库名称。
3. 选择函数,单击删除按钮对无需继续使用的函数进行删除。
注意
删除后该函数下的数据将会被清空,且无法恢复,请谨慎操作。