如何从0到1搭建自助取数平台(一)：调研篇

导读：随着业务的进一步发展，秉承“人人用数据，时时用数据”的愿景，如何让运营、产品自主探索分析数据，并发现业务问题成为众多公司迫切需要解决的问题。本文将分享笔者调研网易有数、阿里云QuickBI、联通、SmartBI四款产品里自助取数的结果，并总结后期在实战搭建自助取数产品的重难点。

一、调研目的

运营及产品人员需要对业务进行及时的监控及分析，同时需要快速验证自己的想法。目前存在如下问题

1.运营或产品获取数据链路偏长（运营联系BI分析，定制化解决问题）。

2.运营或产品不会SQL。

3.BI人员被临时性需求束缚，无法对业务进行深层次业务挖掘

自助取数产品目标：

帮助对数据开发（SQL）不熟悉的产品或运营人员快速获取到所需要的数据，并利用数据发现后续业务问题，更好更快发挥数据价值。

自助取数是用户根据需求，灵活选择查询条件，系统根据用户选择生成相应的查询统计报表。自助取数与普通应用查询最大的不同：普通的应用查询是定制开发，而自助取数由用户自定义查询条件的，想查什么就查什么，秒级响应各种数据查询及分析请求。

二、竞品选择

各大互联网公司都已经进行了自助取数相关产品的建设，下面以几款比较有代表性的产品选择进行介绍。

三、竞品介绍

3.1 网易有数

模型库目的：引导用户快速找到所需模型,支持查看模型详情。

特征：完善的模型分类。

热门推荐：当前项目组里面热门模型。

a.模型库

b.配置界面

c.总结

1.涉及角色：数据开发、业务人员。

2.核心流程：数据源配置 > 取数配置 > 结果可视化呈现

3.需要考虑的问题：

a. 如何可以让业务人员快速找到模型。(目录树+ 搜索+ 热门推荐)

b. 找到表后，如何快速判断是否包含自己想要的字段，以及数据权限管控。（数据字典+ 数据权限）

c. 如何让配置流程足够简单。（选模型+选字段+过滤条件+聚合条件）

d.一次性 VS 周期性 （查询保存）

e. 数据安全 （导出数据+ 订阅）

3.2 quick BI-自助取数

a.自助取数列表页：

b.自助取数新增或编辑页面：

c. 总结

1.涉及角色：BI分析师、业务人员。

2.核心流程：数据集配置 > 自助取数（含可视化）> 取数任务

3.需要考虑的问题：

a.数据集分类组织。（按项目去划分项目空间，做到资源隔离）。

b.数据集加工 （数据集关联、二次数据处理分析、数据权限设置）。

c.如何让配置流程足够简单。（选数据集+选字段+过滤条件+聚合条件）

d.一次性 VS 周期性 （查询保存）

e.数据安全 （导出数据+ 订阅）

3.3 SMART-BI

3.4 联通-自助取数

a. 新增模板

b.保存模板

c.总结

四、竞品总结

4.1 整体结构

select dt                              --  查询字段
,sum(primary_gold_diff) as primary_gold_diff -- 指标1，聚合方式:求和
,sum(ios_gold_diff)/-100 as ios_gold_diff --   指标2，计算字段
from
bili_ads.dwd_bili_pay_di a  --数据模型
where a.dt>=‘20200401’ and a.dt<=‘20200630‘ --  过滤条件1
and type in (130016,130017,130021,130022) --  过滤条件2
group by dt -- 聚合维度
order by dt -- 排序
limit 10000; --结果数量

4.2 整体对比

4.3 整体流程

重难点：

1. 拓展性：呈现形式 ，优先单表取数、后续开展指标取数

2. 快速准确生产数据模型：时效和质量找寻平衡点。

3. 快速找到内容：内容组织 （主题分类+ 内容简介）。

4. 傻瓜式配置：拖拽式. (字段二次加工)

5. 数据安全性：权限管控

五、后续预告

在接下来的文章，笔者会介绍如何实战搭建自助取数平台，欢迎大家分享转发！