北京大学 | 三维高斯溅射隐写术

本篇分享论文GS-Hider: Hiding Messages into 3D Gaussian Splatting，三维高斯溅射隐写术。

详细信息如下：

• 论文信息：Xuanyu Zhang, Jiarui Meng, Runyi Li, Zhipei Xu, Yongbing Zhang, Jian Zhang*. GS-Hider: Hiding Messages into 3D Gaussian Splatting. (*通讯作者)
• 论文网站：https://arxiv.org/pdf/2405.15118
• 项目网址：https://xuanyuzhang21.github.io/project/gshider/

图1：应用场景。3DGS训练者（Alice）需要原始场景与待隐藏场景的训练视图来训练我们的GS-Hider，这包括一个3DGS点云文件、场景解码器和信息解码器。之后，Alice会将3DGS点云文件和场景解码器上传至网络。3DGS用户（Bob）能够渲染查看原始三维场景，但只有用于信息提取器的训练者有权提取隐藏的三维场景，以此实现版权保护或秘密通信。

作为计算机视觉与图形领域的前沿技术，三维场景重建与新视角合成在电影制作、游戏引擎、虚拟现实及自动驾驶等领域发挥着至关重要的作用。特别是，三维高斯溅射（3D Gaussian Splatting，简称3DGS）因其优秀的保真度和实时的渲染速度，已成为三维渲染的主流方法。

鉴于3DGS的渲染成本极高，保护三维资产的版权与隐私显得尤为重要。作为版权保护领域内广为研究的技术，数字水印与隐写术旨在以不可见的方式将音频、图像或比特等信息隐藏于数字内容中。

在解密过程中，仅接收方通过预定义的解密操作才能从载体中恢复出秘密信息。因此，一个直观的想法是，我们能否设计一种针对3DGS的隐写术方法，用以保护三维场景的版权与隐私呢？

与神经辐射场（NeRF）不同，3DGS具有两大显著特点：

1. 显式的三维表示；
2. 实时的渲染速度。

这些特性使得3DGS的点云文件能够被直接上传到网上以供实时渲染，公开且透明，每个高斯点都具有明确的物理意义。因此，在将信息嵌入到3DGS点云文件的同时，确保原始三维场景的安全性与保真度是一项极其艰巨的挑战。

任务定义

由于NeRF隐式表示的渲染速度较慢，用户通常只能在线上访问少数离散渲染的视角，而非获取整个NeRF模型权重。因此，NeRF训练者通常需要将信息嵌入模型权重中，并确保从每个渲染的二维视角中能够提取出相同图像或比特信息。

然而，对于3DGS隐写而言，由于其具备实时渲染能力，训练好的点云文件可能会直接上传至网络。因此，我们的任务设定是在拟合原始三维场景获得容器3DGS的过程中隐藏信息，随后从该容器3DGS中提取嵌入的信息。

与NeRF隐写术设置的不同之处在于：

1. 我们的提取过程需要获取整个3DGS点云文件；
2. 我们不仅仅追求从渲染出的二维视角中提取信息，更侧重于在更本质的3D高斯点中进行隐藏与提取。

特别地，根据不同的目的，我们的隐藏信息可以分为以下几类：

• 加密通信：在原始三维场景中隐藏其他三维场景。我们利用原始三维场景来保护秘密三维场景，防止被恶意窃取和提取。
• 版权保护：在3DGS的固定视角中隐藏图像。通过预先添加的版权图像与解码后的图像对比，验证3DGS的所有权。

图2：所提GS-Hider的总体框架概述。该框架采用安全耦合的特征属性与渲染器融合隐藏与原始信息，得到渲染后的高维耦合特征。随后，利用场景与信息解码器对渲染出的原始RGB场景和隐藏信息进行解耦。

提出方法

为解决上述问题，我们提出了一种高效且灵活的隐写术框架——GS-Hider。该框架旨在将三维场景或图像以不可见的方式嵌入原始场景中，并通过预先设计的解码模块准确提取隐藏的信息。

具体而言，我们定义了一种更灵活、安全的耦合特征属性，用以替换原始3DGS的球谐系数。进一步地，而非直接渲染RGB视图，我们设计了一个耦合的特征渲染器，渲染得到一个耦合的高维特征，实现信息的嵌入和融合。

最终，我们使用一个场景解码器和不公开的信息解码器并行地从耦合特征中解耦原始3D场景和隐藏场景。

实验结果

由于我们是首个提出的3DGS隐写方法，我们和几个直观的3DGS隐写方法，包括添加一个球谐系数来拟合隐藏场景（3DGS+SH），添加一个隐藏场景解码器（3DGS+Decoder）进行比较。

如表1所示，GS-Hider能够以更小的GS文件大小取得更高的原始场景、隐藏场景渲染保真度。

表1：GS-Hider和其他直观3DGS隐写做法渲染质量比较。

此外，我们的GS-Hider也能够实现将多个3D场景藏到一个3D场景中，或者在3D场景的某一个视角中隐藏一张代表版权的图片。

如表2和图4所示。

图3：GS-Hider与其他直观隐写方法的可视化对比。

表2：GS-Hider与其他直观GS隐写方法在藏单张图上的性能对比。

图4：GS-Hider隐藏多个3D场景的效果展示图。

实验室简介： 视觉信息智能学习实验室（VILLA）由张健助理教授在2019年创立并负责，致力于AI内容生成与安全、底层视觉、三维场景理解等研究方向。近几年，已在CVPR、ICCV、ECCV、NeurIPS、ICLR、TPAMI、TIP、IJCV、AAAI等高水平国际期刊会议上发表成果50余篇。VILLA在图像/视频编辑、AIGC安全领域发布多款爆火技术和产品，包括T2I-Adapter、DragonDiffusion、DiffEditor, 360DVD，EditGuard和V2A-Mark。其中T2I-Adapter、DragonDiffusion等已被Stability AI，Huggingface，兔展等国内外知名AIGC公司用于落地产品中。