腾讯发布 BrushNet：一种即插即用图像修复模型

BrushNet，这是一种新颖的即插即用双分支模型，旨在将像素级蒙版图像特征嵌入到任何预训练的扩散模型中，从而保证连贯和增强的图像修复结果。可以拖动白线来查看绘制前后的图像。

模型在给定蒙版和蒙版图像输入的情况下输出一个未绘制的图像。

• 我们对掩模进行下采样以适应潜空间的大小，并将掩模图像输入VAE编码器以对齐潜在空间的分布。
• 将噪声潜伏、掩码图像潜伏和下采样掩码连接起来作为 BrushNet 的输入。从 BrushNet 中提取的特征在零卷积块后逐层添加到预训练的 UNet 中。
• 去噪后，生成的图像和蒙版图像与模糊蒙版混合。

BrushNet 和以前的图像修复方法在各种修复任务中的性能比较：（I） 随机蒙版（< 50\% 蒙版），（II） 随机蒙版（> 50\% 蒙版），（III） 内修分割蒙版，（IV） 外内修割蒙版。

每组结果包含一个人工图像（左）和一个自然图像（右），采用 6 美元的修复方法：（b） 混合潜在扩散 （BLD）、（c） 稳定扩散修复 （SDI）、（d） HD-Painter （HDP）、（e） PowerPaint （PP）、（f） ControlNet-Inpainting （CNI） 和 （g） 我们的，其中 （a） 显示给定的蒙版图像。

BrushNet 在 （1） 样式、（2） 内容、（3） 颜色和 （4） 提示对齐方面表现出卓越的连贯性。

为了训练和评估基于分割的蒙版修复模型，我们提出了 BrushData 和 BrushBench。

• BrushData 添加了带有额外分割蒙版注释的 Laion-Aesthetic。BrushBench 总共包含 600 张图像，每张图像都附有人工注释的蒙版和标题注释。
• BrushBench 中的图像均匀分布在自然图像和人工图像（例如绘画）之间。此外，该数据集确保了不同类别之间的平均分布，包括人类、动物、室内场景和室外场景。这种平衡的分配使得对各个类别的评价得以公平，从而促进了更好的评价公平。

将 BrushNet 集成到社区微调的扩散模型中。我们使用了从稳定扩散 v1.5 微调的五种流行的社区扩散模型：DreamShaper （DS）、epiCRealism （ER）、Henmix_Real （HR）、MeinaMix （MM） 和 Realistic Vision （RV）。MM是专门为动漫图像设计的。

BrushNet灵活的控制比例。（a） 显示给定的蒙版图像，（b）-（h） 显示添加 BrushNet，控制比例为 w 从 1.0 到 0.2。结果显示，从精确控制到粗略控制，可控能力逐渐减弱。

比较以前的绘画方法和BrushNet在各种图像领域：自然图像（I，II），铅笔画（III），动漫（IV），插图（V），数字艺术（VI左）和水彩（VI右）。每组图像包含 6 美元的修复方法：（b） 混合潜在扩散 （BLD）、（c） 稳定扩散修复 （SDI）、（d） HD-Painter （HDP）、（e） PowerPaint （PP）、（f） ControlNet-Inpainting （CNI） 和 （g） 现在的，其中 （a） 显示给定的蒙版图像。