从“线上互动”到“实时临场感”，走向实时互动技术新世代！丨XDC 2022

三星堆上新全国观众“云考古”，诗词大会 1000 人同屏开麦，故宫古文物 22 倍高清放大，近些年来，音视频领域高速发展，带来一场又一场视觉盛宴，背后离不开实时互动技术的助力。

新冠疫情加速了全球范围的数字化转型，在线上办公、活动和娱乐的实时互动场景越来越多。在线虚拟陪伴不再新奇，协同办公工具频繁使用，人们的生活方式、工作方式、娱乐方式，都潜移默化的发生了改变。

实时互动技术正实现从“在线”到“在场”的转变，推动互联网朝以“临场感”为特征的下一次变革。随着 5G、大数据、云计算等技术的深入交叉发展，以及元宇宙等概念的推广，实时互动技术将加速赋能千行百业，不断拓宽边界。

在 7 月 22、23 日即将举办的第二届稀土开发者大会(XDC 2022)上，由声网技术 VP 冯越作为出品人的《实时互动技术新世代》专场，将探索实时互动技术的最新趋势，分享实时互动领域的最新进展和工程实践，本届开发者大会免费报名中，点击文末阅读原文或识别海报二维码即可与各位牛人分享交流。

演讲主题：下一代 Web 实时音视频技术和开发实践

WebRTC 1.0 标准化落地使得 Web 平台具备了基本音视频互通能力，但实时音视频互动新场景中的新需求例如背景分割、美颜、超分、AI 降噪、空间音频已超出 WebRTC 1.0 覆盖的用例。如何提供差异化的音视频体验，并且保证复杂使用环境下的可用性成为了 Web 平台面临的新挑战。本主题演讲将结合 W3C 推行的一系列新标准探讨下一代 Web 实时音视频技术架构的建设。

演讲大纲：

1. Web 平台的 RTC 方案

1.1 WebRTC 方案与非 WebRTC 方案

1.2 WebRTC Next Version（WebRTC NV）用例

1.3 WebRTC NV 的媒体处理需求

1. Web 媒体处理新标准及其实践

2.1 媒体流数据：Insertable Streams for MediaStreamTrack

2.2 媒体编解码：WebCodecs

2.3 媒体流处理：WebGL/WebGPU、WebAssembly

2.4 媒体流传输：WebTransport

1. 下一代 Web 实时音视频技术架构

演讲嘉宾：冯盛源 声网高级软件开发工程师

2021 年加入声网，主导 WebRTC Next Version（WebRTC NV）项目开发，致力提供差异化的实时音视频互动体验。

演讲主题：互动白板的开发难点：冲突处理和扩展开发

主流的会议软件或者教学软件都配备了强大的互动白板系统，那什么场景中我们才会需要互动白板来辅助教学或者会议呢？本次分享主要围绕着以下三个核心问题展开来介绍互动白板。1. 对比一般的屏幕分享互动白板有哪些难以取代的功能和优势？2. 互动白板通过哪些技术来实现这些的呢？3. 互动白板以后会沿着怎么样的技术路线发展。

演讲大纲：

1. 互动白板的使用场景和优势

1.1 传统：教学、会议；新场景：VR、游戏等

1.2 优势：低带宽、强互动、隐私保护

1. 互动白板的技术难点

2.1 互动系统的整体架构

2.2 互动应用冲突解决模型

2.3 实时数据库服务

2.4 基于 Web 的跨平台和扩展

1. 互动白板的发展演进

3.1 技术：随着前端工程化的生态变丰富以及 Wasm 等底层技术发展，互动白板的生态和体验都会快速进化。

3.2 场景：随着插件生态的丰富，会在越来越多的场景中被使用。会往在线互动系统的方向演进。

1. 如何基于我们的开源项目快速上手

4.1 基于 Fastboard 快速接入启动

4.2 基于 Flat 修改上线

演讲嘉宾：伍双 声网互动应用创新部门负责人

主要负责声网互动白板相关业务，以及实时互动开源项目 Flat。曾创办 Netless 互动白板公司，并于 2020 年底带领团队加入声网。

演讲主题：亿级安装量，如何将 SDK 崩溃率降低至十万分之五？

声网一直非常重视可靠性，这里的可靠性不仅包括 SD-RTN 传输网络的高可用，也包括端侧 SDK 的稳定性，SDK 崩溃率是关键衡量指标之一。RTC 相关的技术非常复杂，涉及到多平台的适配，音视频的采集、渲染、前后处理、编解码和网络传输。声网如何在这个复杂的系统上做到十万分之五的崩溃率？本次分享将介绍声网在 Native SDK 上的稳定性最佳工程实践。

演讲大纲：

1. 声网 SDK 稳定性前世今生

1.1 稳定性对声网的意义

1.2 我们自己的感受

1.3 用数据说话

1. Native 稳定性最佳工程实践

2.1 崩溃/卡死捕获原理

2.2 测试与覆盖率

2.3 Sanitizer 原理与应用

1. 稳定性监控平台的搭建过程

3.1 技术选型

3.2 实现难点

3.3 平台成果展示

1. Native 稳定性疑难杂症案例分享

演讲嘉宾：周成 声网高级软件开发工程师

2019 年加入声网，参与大前端 Native SDK 稳定性系统搭建，目前专注于软件工程质量方面的研究。

演讲主题：空间音频如何助力在线互动场景的沉浸感体验？

随着虚拟现实（VR）/ 混合现实（MR）技术的发展，基于耳机的空间音频变得越来越重要。空间音频实际上是仿真一个真实声源产生声音，传播以及被人耳接收的过程。如何有效地模拟这一个过程，让 3D 音频沉浸式地再现，是空间音频的主要研究方向。除此之外，如何有效地渲染大量的声源是一个值得讨论的问题。本次分享主要是介绍空间音频渲染的原理，在线上互动场景中实时渲染空间音频的算法，包括基于对象和基于场景的方法，以及行业中的应用案例。

演讲大纲：

1. 沉浸式 3D 音频体验不可或缺的元素

1.1 直达声

1.2 声源朝向，距离以及移动声源

1.3 房间混响

1. 空间音频实时渲染的策略和部署

2.1 基于对象和场景的不同渲染方法

2.2 端云结合的渲染部署

1. 空间音频在游戏、社交等互动场景中的应用

演讲嘉宾：李嵩 声网音频算法工程师

德国汉诺威大学博士，参与过 HRTF 快速测量、虚拟声外化感提升、基于VR的空间音频、耳机主动降噪等项目。2021 年加入声网，主要从事实时空间音频算法研究，包括双耳声实时渲染、增强立体感和沉浸感等。

“本届大会策划的专题除实时互动技术新世代以外，还包括了开源和商业化探索、大前端、低代码、业务背后的架构演进、微服务和 Serverless、云原生技术架构和变革等十数个技术专场，由来自字节、阿里、腾讯、快手等公司具备技术影响力与洞察力的行业专家负责议题把控，目前大会出品人已全部集齐，讲师阵容即将确认完毕。除了为期两天的沉浸式内容体验，稀土开发者大会还为万千开发者朋友们准备了丰厚的奖品，报名参会的开发者将有机会参与抽奖，赢取丰厚大奖，敬请期待。 ”

点击下方阅读阅读原文，即刻免费报名抢占最佳观景位！