苹果开源端侧AI落地Vision Pro：2D图秒变可交互3D场景

自visionOS 26系统起，苹果原生照片应用已内置一键生成"空间场景"功能，能在近乎瞬间将任意图像转换为可小幅移动视角观看的立体照片。而过去一年涌现的多款开源与商用AI系统更进一步，能将照片转化为可自由探索甚至行走其中的场景，例如Marble可通过头显浏览器在WebXR中实现该功能。

但Marble作为计算密集型服务器模型需数分钟生成结果，这更凸显苹果SHARP模型的独特价值。该模型支持消费级设备运行，兼容通用CPU及英伟达CUDA、苹果芯Metal硬件加速，多数硬件上完成处理仅需不到1秒。苹果罕见地将其免费开源，代码已在GitHub发布，用户可轻松在Mac等设备上运行。

与近年多数3D重建技术突破类似，SHARP采用高斯泼溅技术，通过在三维空间部署数百万半透明色斑（高斯粒子）实现任意视角实时逼真渲染，最终生成可在标准3DGS查看器中打开的.ply文件。

针对Apple Vision Pro用户，葡萄牙开发者Rob Matwiejczyk已推出集成SHARP模型的visionOS应用Splat Studio，提供图形化界面且无需连接Mac或PC。该应用可在App Store免费获取，完全在设备端运行：从照片库选择任意图像即可实时生成悬浮3D场景，支持手势旋转、移动与缩放操作。

在M5芯片版Vision Pro上使用2014年Steam开发者大会VR会议室图像进行测试时，Splat Studio耗时约20秒生成场景（visionOS 26照片应用的空间场景功能近乎即时生成，但二者应用层开销差异尚不明确）。对比显示：苹果照片应用的空间场景允许有限视角窥探，而Splat Studio的SHARP模型支持场景自由移动观察，但代价是伴随视角远离原图位置会出现细节损失与AI幻化细节——这也是多数生成式AI技术的典型权衡。