首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

自助取数平台探索与实践

一、概述 政采云自助取数平台历时一年左右的时间开发,从 0 到 1,基于取数流程长、取数成本高、取数效率低、数据安全不可控等痛点,经历数次大的版本迭代,目前平台功能已能覆盖内部员工日常取数的大部分场景。...本文将对自助取数平台的功能模块和系统设计做简略的介绍。 二、功能模块 平台主要包含自助取数、数据推送、资源管理、操作审计几个大的功能模块。...4、资源管理 自助取数导出的文件都会出现在资源管理列表,可以多次下载已导出的文件。作为一个通用资源管理模块,也支持用户自主上传文件,以便后续进行推送等操作。...5、数据推送 资源管理列表中的文件,可推送到第三方平台;目前已对接智能外呼和云平台。 . 云平台推送 ....2、易用性 1、自助取数在最初的设计中,对取数任务使用的是列表管理的方式,但是当取数任务变多后,需要根据业务场景对取数任务进行管理,基于此场景,加入了文件夹管理

54310

从0到1搭建自助分析平台

一、什么是自助分析平台 自助分析平台是构建在大数据平台之上的,依托于大数据平台的数据研发能力,通过统一的数据服务,实现对数据查询、分析的统一管理,为企业业务分析提供高效的数据决策支持,同时也避免数据工程师陷入繁杂的提数需求中...自助分析平台是有计算机基础的业务人员能够快速上手的前端产品,既要有大数据的处理性能,有需要有简单好用的可视化分析能力,只有让业务人员能够快速掌握使用方法,和公司的业务结合起来,自助分析平台才有价值。...其实,一直以来,各大公司的数据分析平台都只有一个目标——干掉Excel。 二、自助分析平台该有哪些模块 ?...支持多数据源接入 自助分析平台要能够支持多种数据源、不同数据类型文件的接入,能够让数据工程师和业务人员快速的把数据导入到自助分析平台中。...最后,还是要提醒一下,自助分析平台的目的是“干掉Excel”,让所有的分析结果存储在线上,千万不要让其沦为数据下载平台

1.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    自动自助训练模型平台的架构设计

    只不过场景不同,持续收集数据的成本差异可能是巨大的,例如对于广告平台点击率预测,样本数据本身就是现成的,需要做的就是收集,可能还需要区分作弊数据;而对于像舆情系统的文本分类,要想持续收集数据,那就得有人持续的进行标注...模型目标 一个舆情系统分类模型的自动自助训练的模型平台应该是这样的: 1. 模型应该是可以增量训练的; 2. 模型的增量训练数据可以来自上传,或者从第三方系统推送过来; 3....模型平台:实现模型的管理,日志管理,数据集管理,预测节点信息管理等。数据都存储到数据库中。 2....任务调度:模型平台只是管理模型的基本信息,如模型的训练计划,上线条件等,但是训练任务的调度等等都是在任务调度系统实现的。另外如果训练任务比较多,这里可能也会使用多个服务器。训练好的模型存储到s3上。...预测节点会把心跳,日志等信息发送给模型平台,在模型模型平台统一进行管理。模型平台也会把新模型的上线通知下发给节点服务器。 几点说明: 1.

    77210

    PageAdmin自助建站系统之站点的添加和管理

    PageAdmin Cms支持多站点,很适合制作大型站群网站,在站点管理中可以对每个站点进行管理,站点绑定域名,访问目录,站点模板等操作都在此界面进行操作,下面小编介绍一下PageAdmin建站系统站点的添加和管理...1、打开站点管理,如下图 2、如果需要添加新站点,点击左上角菜单中有一个添加按钮,出现如下界面 下面说一下几个重要参数: 2.1、访问目录:必填项,如果没有绑定域名,则网站用:http://系统主域名...则网站用http://my.domain.cn来访问域名,需要注意是,你的服务器站点需要先绑定http://my.domain.cn域名 如果后期网站域名更改了,站点会出现打不开的情况,只需要进入当前管理界面...3、如果添加了多个站点,如何在多个站点之间切换管理比如站点栏目,网站信息数据呢?点击后台右上角,账户中心,网站切换,如下图 4·、弹出站点选择界面,选择中管理的站点,然后点击按钮即可,如下图:

    2.8K10

    数据库自动化运维平台自助DML

    为了使DBA的工作轻松,有效率很多年前各大公司就开始自动化运维平台建设,在这方面我们属于比较晚的了。 今天介绍下最近开发的一个平台自助DML。什么是DML,就是平常执行的增删改查数据库操作。...有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。...虽说现在的公司实例少点,但每天的工作量还是很大,关键这种工比较重复,枯燥,没有技术含量,所以迫切需要一个自助的服务平台开放出去来提高工作效率,解放DBA。...: 1) 提交任务需要满足两个条件:(1) 元数据平台(请参考之前的元数据平台博客)集群归属部门信息不能为空 (2)提交任务的人所在部门要跟集群归属部门一致 2) 根据流程检查权限后,就会对提交的...10) 这个页面是DBA后台操作页面, 目前只有DML,其他平台正在开发中。 总结: 此系统目前已经开放给RD使用,目前日处理需求量50+,对工作效率,安全性,RD体验等方面有了显著的提升。

    3.3K20

    MySQL权限管理的一些自助化服务思路

    我想了想这里折射出几个问题: 1)业务侧对于权限的管理很多都是粗放型的,很多密码都是明文,基于excel等方式管理,可能会有小范围的文件方式分发 2)服务配置或权限发生变更,这些信息在业务侧没有统一的配置平台去解决...,在本地的配置管理中也难以统一更新 3)对于业务侧来说,权限使用也是两级化,要么是清一色共享账号的习惯,要么是个人化账户,其中个人化账户随着人员流动很多权限管理难以追溯。...4)业务侧对于数据库的权限体系了解较少,沟通交流中会有代沟 5)因为密码是加密模式而且不可逆,很多DBA也没有统一的平台维护现有环境的账号密码信息,简单来说,他们很可能也不知道明文密码是什么 6)权限边界不清晰...这里就是建设密码管理模块的重中之重了,密码管理模块是一个相对独立的模块,可以对于密码加解密使用独立的算法逻辑,也就加密串和数据库层面的加密串可以没有关系,但是这两个加密串却可以无缝的衔接起来,可以通过密码管理中的加解密...按照这种思路,我们就可以提供一系列的服务可以来支持业务的这几类大问题,而且可以直接对标自助化服务。

    74130

    自助建站有什么优势?什么是自助建站

    目前,互联网上最流行的网站建设模式是自助建设。很多人可能不知道自助网站建设是什么。今天易极赞小编就来告诉大家:自助网站建设有哪些优势? 1....3.兼容性更高 自助网站建设平台面对的用户较多,很多网站都使用了网站的模块,功能比较齐全。使用这些模块时很少有bug。对用户来说是一种很好的用户体验。bug将由专业技术人员修复。 4....丰富的模块选择 由于自助建设是通过拖拽模块的方式进行的,所以一般的网站建设平台都有大量的模块供用户使用。在使用这些模块时,用户可以根据自己的风格设计网站。...自助建站的优点是什么? 1. 更快的施工时间 与传统网站建设相比,自助网站建设花费的时间更少。因为都是可以操作的模块,如果用户熟悉了模块的操作,一两周就可以上线。...3.较低的门槛,不需要代码知识 自助网站建设适合所有客户,无需任何编码级别即可操作。可以说是一种零门槛的网站建设模式。所以对于用户来说,这种自助网站建设的模式更适合他们。

    4.6K30

    自助建站是什么,企业自助建站优点有哪些?

    32.jpg 那么,自助建站是什么,企业自助建站优点有哪些? 根据以往自己做网站的经历,我们将通过如下内容,进一步说明: 自助建站是什么?...简单理解:自助建站是指不需要第三方介入,用户自己进行完成建站过程。操作过程非常简单,不需要懂得编程技术或者网页设计,只需要简单的操作便可完成。 自助建站的步骤有哪些?...企业自助建站优点有哪些? 企业自助建站优点是什么?自助建站可以帮助企业节省技术、设计等方面的人力成本,所以自助建站已经成了中小型企业的建站首选。...此外,使用自助建站系统,整个过程大概只需要几十分钟便可以完成,而且可以根据自定义模块对网站进行调整和修改,其建站速度非传统建站可以达到的。...4、系统维护比较方便 网站的日常管理、网站升级、版本更新都只需要在自助建站系统上进行管理便可,成功解决了传统网站管理的复杂之处。

    5.9K10

    如何从0到1搭建自助取数平台(二):规划篇

    建立全公司的数据标准体系,规范数据管理和应用体系 指标规则配置化:各类业务统计指标,可通过指标管理平台配置化生产,实现指标口径灵活调整,同时支持多版本管理 指标消费便捷化:建立公司级指标库,实现业务指标的灵活...、自助消费,包括对接下游系统(BI报表平台、即席查询),缩短数据消费链路,提高响应速度 指标影响快速分析:指标的异常变动,可通过血缘追溯至上游指标的变动;针对基础指标的修改变动,可以展示对下游衍生指标的影响...可以打通BI报表平台、指标取数、API管理平台对外提供服务。...1.平台提供统一的指标、维度规范2.支持多重指标定义(原子、派生、计算指标)。3.支持指标分层和权限管理 业务痛点:业务指标口径无平台可维护产品目标:指标配置自动化。...业务痛点:业务指标口径无平台可查产品目标:指标管理集中化、指标口径可视化 V3.0 业务目标:打通更多下游应用(指标取数、BI报表平台、薪酬业绩核算)1.指标数据质量监控2.指标血缘、维度血缘3.强大通用的

    98221

    管理平台优势

    Gitee 上,项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvm优势零代码开发是指开发简单功能模块时可一键生成无须代码,如果开发复杂模块只需学习 DM 平台的插件功能...在表单设计、视图设计、审批流程等方面 DM 平台采用可视化操作,所见即所得;平台采用 NetCore 框架开发,支持前后端分离,具有可运行在国外 \ 国内系统的跨平台性;平台支持多语言、多币种,可以后台直接配置即可...;DM 平台可以开发多个子系统并独立运行,每个子系统的各功能模块可快速生成并具备增、删、改、查、审批流、相关报表等基本功能,开发人员可以在此功能基础上添加自己的业务逻辑完成项目的开发。...好处DM 平台发布以来已被广大爱好者用到了企业、政府、医疗、金融、互联网等各个领域中,架构精良、易于扩展、可配置性强、操作可视化的设计模式、工匠精神打磨每一个细节,深入开发者的内心,并荣获开源中国《最受欢迎中国开源软件...DM 平台是作者和自己的开发团队结合了多年开发经验,以及各方面的应用案例,把多个开源框架的优势和特殊功能集中进行优中选优,进行了二次开发后,完成了一次全部重构,也纳入很多新的思想。

    1.2K30

    如何从0到1搭建自助取数平台(一):调研篇

    本文将分享笔者调研网易有数、阿里云QuickBI、联通、SmartBI四款产品里自助取数的结果,并总结后期在实战搭建自助取数产品的重难点。...数据开发、业务人员 模型库、配置取数、保存查询、生成分析报告 QuickBI-自助取数 帮助业务人员实现便捷化取数,降低BI支撑业务取数的工作压力 BI、业务人员 数据集、配置取数、管理取数、管理下载任务...业务人员 数据导航、自助分析、数据答疑、应用商店、个性门户 联通自助取数 帮助业务人员实时、自主提取各类明细数据,提高业务支撑能力,加快业务响应速度 业务人员、 模板定制、模板审批、模板取数、模板任务管理...数据安全 (导出数据+ 订阅) 3.2 quick BI-自助取数 a.自助取数列表页: b.自助取数新增或编辑页面: c. 总结 1.涉及角色:BI分析师、业务人员。...数据安全性:权限管控 五、后续预告 在接下来的文章,笔者会介绍如何实战搭建自助取数平台,欢迎大家分享转发!

    4.1K40

    如何从0到1搭建自助取数平台(四):运营篇

    本文将分享笔者搭建自助取数平台的运营策略。...前面3篇介绍了自助取数 >>>竞品调研:如何从0到1搭建自助取数平台(一):调研篇 >>>产品规划:如何从0到1搭建自助取数平台(二):规划篇 >>>上手实践:如何从0到1搭建自助取数平台(三):实践篇...本文重点介绍如何运营推广自助取数平台。...预计增加查询次数:10人 *2次/日= 8次/日 策略2:支持小时维度指标数据查询(P0) 整理业务最迫切希望查询的小时粒度指标,在指标管理平台统一维护。...(P0) 与分析同学及数据运营沟通,贴合场景进行业务主题沉淀,共同推动常用指入库到指标管理平台。预计新增指标数量100+个。

    67030

    如何从0到1搭建自助取数平台(三):实践篇

    本文将分享笔者搭建自助取数工作的实践。...前面2篇介绍了自助取数 >>>竞品调研:如何从0到1搭建自助取数平台(一):调研篇 >>>产品规划:如何从0到1搭建自助取数平台(二):规划篇 本文主要介绍如何实践搭建自助取数平台。...实战过程,自助取数将采用前后台分离的方式。其中后台进行必要的指标业务含义管理、指标规范管理等。前台以简单、快速、准确、安全进行指标取数查询。...二、如何搭建指标取数平台 2.1 指标建设方法论 整体上指标建设要做到指标业务口径统一规范、形成知识传播利器、同时可以高效服务下游应用,避免重复造轮子。...2.2 指标管理后台-指标字典 确保每个指标拥有一个精确且唯一的定义。通过指标字典可以快速且规范地查询,开发和使用指标。 (1) 查找指标:支持对指标进行快速查找及筛选查找。

    1.3K11
    领券