腾讯云开发者社区技术沙龙第26期回顾-大数据技术实践与应用（文末附PPT）

2019年8月24日，由腾讯云开发者社区主办的第26期腾讯云开发者社区技术沙龙——大数据技术实践与应用，在北京快手总部举行，本期沙龙腾讯云开发者社区联合快手邀请技术大咖为大家深度解读大数据的前沿技术，聚焦大数据技术实践与应用，同时带来了干货满满的大数据实践案例分享。现场技术热情高涨，座无虚席、交流氛围浓厚。

本次沙龙腾讯云开发者社区联合快手，为北京的开发者们带了一场关于大数据的技术盛宴，在开发者们的热情支持下，共同度过了一个愉快充实的下午，五位嘉宾分别就基于spark构建PB级别云数仓、ElasticSearch产品架构与实践、yarn系统在快手的应用实践、云端大数据产品架构、腾讯实时流计算技术等话题做了精彩分享，并与到会的开发者进行了精彩的互动，在满满的干货输出的同时也碰撞出了更多的技术火花。

下面就让我们一起来回顾当天下午的精彩活动瞬间吧。

活动当天，有不少小伙伴早早就来到了现场，热情满满。现场工作人员也为大家准备了精美的定制礼品，看得出这次沙龙的吸引力还是很强的。

当天活动现场人员爆满，说明大家对本次的沙龙内容也是充满了期待，后边来的开发者们都是站着在听分享的，大家对技术和知识的渴望很值得敬佩。

下午两点，本期沙龙活动正式开始。

第一位分享的嘉宾是丁晓坤，他带来的主题是《基于spark构建PB级别云数仓》，在分享中，丁老师从三个方面来讲解如何基于Spark来做PB的云架构：

• AI与大数据的关系。
• 大数据技术的发展趋势。
• 基于spark落地计算平台的技术细节和优化细节。

在演讲的最后，丁老师也简单提到了Spark平台下一步的规划：在大家都推崇“六批一统”这个概念的情况下，平台会逐渐的支持Diflint这个层次去支持Update和delete。

接下来，第二位嘉宾邹建平带来了《不仅仅是搜索——腾讯云ElasticSearch产品架构与实践》的主题分享。主要是和大家介绍一下腾讯云ES产品在云原生架构设计、高可用、自动化运维等方面的思考，以及如何利用ES来实现企业智能化转型。

在演讲一开始，邹老师就抛出了本次分享内容的主题句：大家觉得ElasticSearch是在做搜索，但是ElasticSearch现在正在做更多的事情。接下来，邹老师分别从ElasticSearch是怎么样从搜索慢慢变成一个能支持分析的产品、腾讯云ElasticSearch架构和优化工作以及其展望这三个方面进行了系统化介绍。

最后，邹老师提到：整个云产品在未来发展的思路可以从水平层面、垂直方面以及整个产品矩阵方面这三个维度去探索。

第三位嘉宾，来自快手的数据架构工程师房孝敬，分享主题是《yarn在快手应用实践与技术演进之路》。主要介绍yarn系统在快手的应用实践，遇到的问题以及相应的技术演进过程。例如，如何保证核心作业SLA，如何保证大规模集群稳定性，自研调度器kwai scheduler，抢占系统改进，如何服务于不同的应用场景等。演讲内容分为一下三个方面：

• yarn系统在快手的应用场景以及业务规模
• yarn系统在快手的技术演进过程
• yarn系统在快手的未来规划

房孝敬提到，yarn系统在未来的规划中会进行一个分级保障，解决其集群规模比较大，资源的使用较多但没有真正用到重要业务上的这样一个痛点。

上半场分享结束，中场休息时间，主办方腾讯云开发者社区还准备了活动横幅组织大家拍照留念，现场氛围热烈。

在大家简单休息一下，吃点水果补充体力之后，第四位嘉宾乔超带来了主题分享《云端大数据产品架构及最佳实践》。弹性MapReduce是腾讯云构架于云端海量存储、计算基础设施之上的云端Hadoop 框架，用户可在十分钟获得一个安全、低成本、高可靠、高弹性扩展、架构可持续演进的专属大数据集群。对于该产品，乔老师认为：该产品帮助企业在提升研发效率、运维效率、降低硬件成本的同时，轻松应对 TB、PB 级的海量数据的价值挖掘挑战。

紧接着，乔老师重点介绍了腾讯云大数据EMR产品及其价值，同时根据实际经验，分享大数据平台最佳实践。

最后一位嘉宾杨华的分享主题是《腾讯基于Flink构建实时流计算平台的技术实践》，腾讯实时计算团队对社区版的 Flink 进行了深度的优化，并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus。在分享中，杨老师介绍了腾讯实时流计算技术的演进过程以及对Apache Flink所进行的优化与扩展。

杨老师的分享主要分为以下三个方面：

• Flink在腾讯的发展历程。
• 腾讯对Flink的扩展和优化。
• 对Oceanus平台做一个简单的介绍。

现场参会人员抓住机会与分享嘉宾互动交流，大家很积极啊。

最后，主办方腾讯云开发者社区还在现场送出了丰厚的礼品。本次沙龙活动到此结束，非常感谢现场人员百忙之中抽空参加，也辛苦所有工作人员。

让我们一起期待下一期腾讯云开发者社区技术沙龙活动，9月7日在上海市长宁区Hello coffee举办的主题为《AI技术原理与实践》的技术沙龙，也欢迎大家报名参加。报名链接：https://cloud.tencent.com/developer/salon/salon-1139

嘉宾分享的PPT文件请看末尾的附件，欢迎下载分享！