Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？

Stable Diffusion 3（SD3）由Stability AI开发，其技术报告的发布揭示了SD3背后的技术细节，特别是Sora构架的应用，这一构架在图像生成的质量和效率上取得了显著进步。SD3的表现在多个方面超越了现有的文本到图像生成系统，如DALL·E 3和Midjourney v6。

SD3的技术报告指出，该模型在视觉美观度、提示遵循和排版等方面表现出色。这得益于其采用的重新加权的矩形流形式，以及新的多模态扩散Transformer（MMDiT）架构。MMDiT架构使用独立的权重集合来处理图像和语言表示，改善了文本理解和拼写能力。这种架构不仅适用于文本到图像生成，还可以扩展到多模态数据，如视频。

在性能比较中，SD3展现出明显的优势。根据人类评估者的反馈，SD3在视觉美感、文本遵循和排版等方面超越了包括DALL·E 3、Midjourney v6和Ideogram v1在内的最先进系统。这一优势主要归功于MMDiT架构对图像和文本表示的独立处理，使得模型能够更好地理解和表达文本提示，并生成与之匹配的高质量图像。

SD3的技术报告还提到，移除内存密集型的T5文本编码器可以显著减少SD3的内存需求，仅伴随少量性能损失。此外，SD3在不同硬件设备上的性能表现方面展现出了出色的灵活性。例如，在RTX 4090等设备上，最大模型（8B参数）在进行图像生成时，可以在34秒内生成一幅分辨率为1024×1024的图像。

SD3的提出不仅注重了图像生成的质量，还专注于与文本的对齐和一致性。其改进的Prompt Following功能使得模型能够更好地理解输入文本并根据其创作图像。这种灵活性使SD3能够根据不同的输入文本生成多样化的图像，满足不同主题和需求。

SD3采用了改进的Rectified Flow（RF）方法，通过线性轨迹将数据和噪声相连接，使得推断路径更直，从而在少量步骤内进行采样。同时，SD3还引入了一种新的轨迹采样调度，将更多的权重分配给轨迹的中间部分，从而改进了预测任务的难度。这种创新的方法改善了模型的性能，并在文本到图像生成任务中取得了更好的效果。

在文本到图像生成领域，SD3的问世标志着技术的重大进步。通过MMDiT架构的创新、Rectified Flow的优化以及对硬件设备和模型规模的灵活调整，SD3在视觉美感、文本遵循和排版等方面表现出色，超越了当前的文本到图像生成系统。SD3的诞生，不仅提高了生成图像的质量和准确性，还为未来的创意产业、个性化内容生成、辅助创作工具以及增强现实和虚拟现实应用等领域带来了新的可能性。

未来，随着这项技术的进一步发展和普及，我们可以期待看到更多创新的应用场景和解决方案。SD3的开源特性意味着它能够快速迭代和改进，与社区共同推动技术的发展。这种开源精神和技术创新的结合，预示着AI图像合成技术将进入一个新的发展阶段，为人类的视觉表达和创意工作提供更加强大和灵活的工具。