李刚+第一次作业

从架构模式来分析，中台分层架构是同步架构还是异步架构？为什么？

我个人对中台的理解： 我理解的数据中台不只是把各个子系统集成起来，应该还有计算平台（离线和实时的），还有调度平台，指标，权限，集群监控等等的一个集合。 同步架构还是异步架构是一种计数手段，具体使用哪种取决于实际应用场景。 数据中台使用场景很丰富，所以两种架构应该都有使用。

什么场景需要同步架构模式？什么场景需要异步架构模式？

* 数据中台 的使用场景 一种切分方式，就是分为数据处理/写入场景，还有就是数据服务场景。大数据处理计算量很大，需要与业务系统解耦，因此需要使用异步架构。 * 而数据服务场景，需要及时响应，因此一般使用同步架构。

CRUD 操作如何实现请求幂等？给出企业级的解决方案

• 对于 C 插入操作，可以使用雪花算法生成唯一 id,通过 id 去重来做幂等。
• 对于 R 查询操作，查询操作天然幂等的。
• 对于 U 更新操作，可以通过版本号控制幂等，每次更新时候同时更新版本 号，并且校验当前版本号<指定版本号
• 对于 D 删除操作，删除操作天然幂等的。

单机高并发的情况下，比如 10W+的请求并发，如何优化资源利用率？

• 如果是读请求，可以使用多级缓存，比如使用本地缓存+缓存集群的策略，同时异步更新缓存。
• 如果是写请求，可以使用 message MQ 来异步削峰，防止高并发的写入冲垮存储服务，同时使用 分片策略，把写请求分散不到不同的片中，来化解压力。

业务上线后，如何自动化采集日志？（工单/固定配置策略）

• 可以使用 log-pilot 加 Flume 组件的模式。log-pilot 负责从容器临时存储，复制到宿主机的存储上. log-pilot 可以把文件名按统一规范去命名日志文件，并且复制到宿主机的统一规范的路径中。
• 再由 flume 组件来从宿主机的存储中按统一规范的路径和文件名去收集到日志统一存储服务上。
• 结合公司业务场景以及数据应用场景
• 给出满足公司目前发展阶段的大数据平台总体架构设计
• 满足公司未来业务 2 年发展，大数据平台总体架构如何演进，给出设计

目前，公司理财业务，数据早已达到 TB 规模。应用场景非常复杂，有做智能理财，智能看盘，实时监管，等等不同的复杂应用。 (正在筹备做数据中台建设中)

结合课上内容，总体架构设计采用 lambda 架构。

离线仓库逻辑分层架构

数据命名规范 / 数据治理 / 数据安全管理

* 数据命名规范: 不同逻辑层次需要通过良好命名规范去标识，这个可以同过自动化/半自动化的 ETL 工具去实现以及自动化的工具去及时统计不良命名表以便及时纠正。 * 数据治理 :可以实现自动管理工具，及时发现没有使用良好压缩文件格式的数据表，以及小文件的比例，还有就是及时清理一些僵冷数据，提高存储空间利用率。 * 数据安全:要做好各类数据权限控制，对敏感数据要有不同的分级管控。