00:00
第一部分。Q类的开源版,1.1.0的一个版本发布啊,就上个星期我们发布了1.1.0的版本。从这个。从这个更新日志上面可以看到。本次开源版跟进主要是2个3个部分。经济规则的一些扩展。嗯,记账规则的一些扩展。以及部署架构的一个呃。部署的一个架构支持。啊,看一下细节了。那第一个我们增加了5个清晰规则。信息规则可以在数据研发。任务管理。注意几下。你在配置任务的时候使用。
01:07
把转换组件拖过来。双击转换组件。点击配置规则。可以看到。啊,我们扩展了5个清洗规则。那第一个就是。清清洗过期记录这个,呃,这个规则,它能自动的剔除老旧的数据。那可以支持,呃,选择清洗字段。可以通过时间范围。也可以通过近期,比如说近多少天。金段月。近多少年前的数据保留,其他都不要,或者说可以选择具体时间之前或者说之后。它处理的方式有两种。一是。逻辑删除,可就那逻辑删除标记为delete个flag=0。
02:05
类似的这样。同时也可也可以选择直接删除记录。都是可以加一个规则字段值转大写。啊,这个规则就比较简单了,可以自动统一格式嘛,就不用只写,就不用像之前在那个SQL里面只写SQL转了。下个规则。超长字段截取。就是当某个字段值嗯,不符合规范了,我们需要可以可以自动给它截取啊,截取的一个数量。配置。可以往正向崛起,也可以往逆向崛起。
03:01
下一个就是小数未统一。这个是主要是为了为了规范一些。呃,比如说是流量数据,或者说货币数据啊,就统一保留两位小数啊之类的。可以选择清呃清洗的字段,比如说是呃水位字段。哎,保留两位小数,输入一个2代表保留两位小数,跟你讲,我们最后一个就是一个万能的一个。呃,就正则表达式替换,我们本次开1.1版本已经更新上去了,就。很多想自定义的,自定义收购的都可以。通过这个来实现。啊,然后清洗规则,我们本次是增加这5个。然后还有3个稽查规则。最大规规则在数据资产里面,然后数据质量。
04:00
数据质量任务,可以点击配置质量任务。可以点击新增。可以到目前是3个嘛,就是我们本次新增。嗯,新增了,呃,数据数值范围校验。数值范围校验,这个是已经新增了。它主要是规范,嗯,规范那个。呃,数值的合理范围区间嘛,比如说人的年龄啊,部分是负数啊之类的。防止金额、年龄等数据出现离谱的值吗?然后第二,第二个就是字段长度范围校验,对,就是这个。比如说手机号是11位啊。这个对这个固定字段的一些列进行一个长度的一个校验。可以选择。嗯,选择清清需要清洗的字段,然后选择为啊多少位。程序会自动的执行的那个清洗或者那个稽查。
05:04
嗯,最后一个就是,呃,比较常用的一个枚举值校验,这个本子版本已经更新了。然后他会检查字段中的枚举值。呃,是否在标准标准字典里面。一样。就是男女。是不是0和1?有没有其他中文的情况,然后功能上。嗯,主要是这8大规则。两大类型的8大规则。那下面的话就是。呃。部署上的。之前呢有一些痛点。也部署麻烦。呃,麦克跑不起来。现场环境跑不起来。就是以前发以前发版。呃,安装包离线安装包很。很,很大。上上传百度网盘,又得从百度网盘下班天。而且很多那个国产服务器那个M架构也不支持。
06:00
所以说这次。1.1.0,我们做了。呃,底层的重构,然后实现了阿加叉八六双架构的完美支持,然后。具体体现在这儿。大家可以去这个。呃,产品官网点这个自主部署应用构建上面可以看到。就打包嘛,打包打镜像。就我默认打出来的,包括或者说是镜像都是默认支持双加构的,不需要咱经过什么特殊的处理了。可以按照这个流程去来大家把自己的,呃,如果想需要打包镜像的话,推送阿里云账号,把这个账号改账号改成自己的就行了。其他的流程按照这个文档上来也可以正常构建部署上。有3点。比以前。呃,有3个爽点吧,相较于之前的版本,第一个就是一键打包,就只要里装了多克。
07:00
和多的里面的build X.然后。啊,你就可以支持漫威一件打家包和镜像了。第二个就是云端镜像了吗?云端镜像。就直接支持推送到阿里云镜像平台。不用再。苦哈哈的等那个啊,那个百度网盘十几个G的安装包直接下载了。那第3个就是。第3个就是。国产化的一个设备嘛,专门为那个达摩数据库的。我们自己建了一个构建了一个暗暗板的镜像嘛。要用国产新创服务服务器的朋友们啊,可以。呃,本地去试,放心的试用了。然后这是。第一部分第一第一部分Q类的开源版那个1.1的。版本跟发布。
我来说两句