自建大数据迁移到云大数据整体方案

一.背景

公司从自建大数据，服务器，网络，大数据技术组件经常出问题，基本每周异常达到2次，不能够很少的保障业务应用。同时因为投入人力在这块进行服务保障效果不好评估的情况下，我们考虑大数据上云的决策。主要是： 1.释放和大数据平台，技术组件开发运维的人力；

2.聚焦业务应用和赋能，大力发展数据业务和数据价值体现的数据应用能力建设；

3.降低数据存储成本，基于自建集群的方式，数据3副本的可靠存储，因为数据量的上涨，带来服务器购买和费用的增加。

二.方案调研

主要考虑降本提效，所以我们对比了购买cdh订阅版+云服务器搭建方案，海外：Google 云大数据全托管体系，AWS大数据体系；国内：al云大数据体系和hw云体系，基于成本，服务等进行调用和方案评审，简单说明如下： 1.评分表

• 各类型评分 【每个维度分值在1-10，分值越高表示越好】

2.未来3年费用对比

...

3.结论

• 自建集群需要投入人力，服务器成本，同时对应系统不一定能够做到99.99%的稳定性，因为底层稳定性的拖垮业务使用得不偿失；
• 长远来看，上云成本优势明显，省去技术组件运维人员，周边生态工具/系统开发人员和服务器托管费用；云上提供丰富的生态工具能够帮助业务快速落地。总的来讲能够达到降本提效的目的；
• 目前云排名来看： 国内 al > hw > 腾讯；

海外 AWS > Azure > Google

• 综合考虑目前是al云相对较好，但是缺点就是 云上议价能力， 和长期使用云的费用问题（存储固定收费，没有存储阶梯式收费，数据量越大存储越便宜），还有就是上云容易换云或者回迁至自建集群比较困难。

三.架构部署

     1. 考虑未来的发展，比如湖仓一体；

     2. 考虑当前费用和对应技术的先进性和应用丰富，运维等内容。

四.迁移实施

1.平行迁移

• 基于以前的数据任务，先创建表和加工内容，进行空跑，逻辑验证，主要是发现语法兼容和调动问题，因为没有数据内容，所以验证效率高。
• 逻辑验证通过后，进行数据迁移，由近及远的方式，同时关注冷数据存储到OSS外表方式，不使用本地存储方式，能够支持查询就可以了。

2.说明展示