ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance,由北交&字节联合提出 ClassDiffusion: 使用显式类别引导的一致性个性化生成..., 但微调引入的过拟合导致模型无法生成与提示词一致的结果, 本文通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 并据此提出了一个简单有效的方法ClassDiffusion...条件概率a(x)的熵可以被计算为:
微调前后熵的变化可以被计算为:
结合文章的实验观测和概率论的性质, 有:
熵的降低导致了在
c_{class},c_1,c_2,\cdots,c_i
条件下进行采样的难度增加...用
E_{SC}
和
分别表示个性化短语和类短语的 CLIP 编码器输出的嵌入,语义保留损失可以用下式表示:
实验结果
ClassDiffusion可以生成比现有方法更好一致性的结果:
量化对在沿用了当前工作使用的...CLIP-T, CLIP-I, DINO-I指标外, 还引入了BLIP2-T以获得更公平有效的评价, 结果表明ClassDiffusion在与提示词的一致性上优于现有方法。