3D生成模型同台竞技，魁首究竟花落谁家！

近两年，得益于Diffusion模型在2D领域取得的巨大成功以及Objaverse系列大规模3D数据集的开源，3D物体生成领域已经进入迅速发展阶段，3D生成模型数量激增。那么，他们的生成质量究竟如何呢？

目前已有的3D评测体系大多采用基于Clip的方法，在准确性、全面性和鲁棒性方面面临着许多挑战。基于学习的自动评测体系则受到数据的制约，另一方面，语言和图像领域为我们提供了人工评测方式的新思路。

同时，为了给社区提供一些直觉上的启发，我们推出3DGen-Arena，一个公开、匿名的评测平台，集成了目前流行的19个开源3D生成模型（包括9个文生3D模型和13个图生3D模型，详情参看下图）。

在展示形式上，我们同时提供3D资产的法线图、无纹理几何图、以及贴纹理RGB图的360°环绕视频。通过将几何和纹理解耦开来，满足参与者不同的关注重点。

👇👇👇快来pick你喜欢的模型吧！

• https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

鉴于3D生成任务的复杂性，我们认为单一的评价维度并不能够满足所有需求。因此，我们划分为了以下5个独立的维度，进行多维度、全方位的评估，并沿用两两比较的方式，为所有参与的模型确定排名顺序。

1. 几何合理性：一个优秀的3D生成模型需要具备广泛且合理的3D几何先验知识。
2. 几何精细度：提升几何精细度是提升3D生成质量的重要方向。注意到，现有的技术在生成细节的同时往往无法避免噪声的引入，因此，我们认为将精细度和合理性解耦开来，是需要的。
3. 纹理质量：纹理贴图的质量将直接影响3D资产的视觉效果，主要包括纹理贴图的美学水平、视角间一致性程度、以及是否存在伪影。
4. 几何-纹理一致性：在真实世界中，几何-纹理的一致性常常被忽略。但在生成过程中，我们发现并不总是能保证一致的贴图。
5. 文本/图像-3D一致性：与输入条件相一致是条件生成任务的基本要求。

视频地址

除了匿名模型投票外，我们还允许参与者指定模型进行比较，以及与单个模型交互，满足社区的多样需求。

考虑到部分文生3D模型漫长的训练时长，以及我们复杂的数据后处理，目前3DGen-Arena暂不支持开放式输入的在线生成。但是，我们为社区准备了1w+个3D模型，分别由1k+条不同的prompt引导生成（文生3D和图生3D各500余条），涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等6大基础类别，囊括了绝大多数的常见物品。

另外，为了观察3D生成模型对prompt复杂程度的敏感程度，除了单个物体生成外，我们进一步设计了不同物体间的多种排列组合方式，交互方式，以及一些“微场景”。

3D生成领域是3D视觉领域的重要分支，无论是在学界还是业界，都有着广泛的应用前景和发展潜力。面对生成模型的不断推陈出新，一个全面、有效、鲁棒的评价体系是迫切需要的。

一方面， 通过质量评测，深入理解现有生成模型的优缺点，有助于挖掘潜在的发展方向，进而指导模型改进和新算法的开发，不断探索AIGC的能力边界；

另一方面，多维度的3D质量评测对实践应用有指导性作用， 便于针对不同的下游需求，把握关键维度，权衡次要维度。

现阶段，自动评价体系的提出仍面临极大挑战，需借助人工评测的帮助。如果你正在从事3D生成领域，或者对3D生成任务感兴趣，欢迎持续关注并使用我们的平台(https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena)。

我们将继续增添更多的开源、甚至闭源模型；定期维护、更新排名榜；上线支持开放式输入的在线生成服务，敬请期待！