开发者社区

文档建议反馈控制台

技术百科

搜索技术百科

技术百科

发布

技术百科首页 >直接偏好优化 >直接偏好优化对偏好数据的质量有哪些要求？

直接偏好优化对偏好数据的质量有哪些要求？

修改于 2026-09-20 14:37:39

0

词条归属：直接偏好优化

1. 偏好信号要真实反映质量

chosen 与 rejected 的差异应体现在有用性、安全性、准确性等真实维度，而非长度、格式等表面特征
若偏好与长度强相关，会诱发长度偏差，需在标注协议与长度归一化上加以控制

2. 覆盖要匹配部署分布

偏好数据应尽量覆盖模型实际会遇到的提示与失败模式，否则会产生分布偏移
针对具体对齐问题（谄媚、拒答错误、违规内容）定向收集偏好对，能更高效修正对应缺陷

3. 标注一致性

标注标准统一、标注者间一致性高，可减少噪声偏好对训练的干扰；对噪声数据可使用带标签平滑的鲁棒 DPO 变体

相关文章

医疗pcba加工透锡率对焊接质量的影响有哪些？

在医疗、汽车等与生命息息相关的行业里，很多的产品对质量的要求是严苛的。透锡率作为焊接质量的一个评判标准，也有它本身的重要性。其中除了助焊剂和焊锡丝/焊锡膏的问题之外，影响最大的就是焊接方式了。

2022-08-01

7020

对 int 类型的数据加密，有哪些好的方案？

比如：有一个商品详情界面 URL 为 /product/1001，这种情况很容易被别人猜测，比如输入 /product/1002、/product/1003 尝试着去查看详情，这样的话信息就暴露了，如果别人想抓数据的话，只需要将后面的 ID 递增抓取就可以了，怎么解决这个问题？

2020-04-02

1.6K0

【rainbowzhou 面试15/101】技术提问--数据质量管理的流程有哪些？

在前面的系列文章中，我讲述了如何用一些大数据的测试方法来保障数据质量，那么还有其他方法吗？当然有，即数据质量管理的方式来保障数据质量。今天先从数据质量管理流程聊起，来看看如何更加全面、系统的管理数据质量，从而使数据变得更有价值，希望对大家有所帮助。

2023-03-16

4620

事实类提问和实操类提问，对 AI 搜索引擎优化的要求有什么不同？

生成式 AI 搜索的普及，让AI 搜索引擎优化需要适配多样化的用户提问意图。事实类提问、实操类提问是两类高频查询，二者底层检索逻辑、信源评判标准存在明显差异。很多从业者用同一套内容模板处理全部问句，导致部分场景下内容很难被大模型采信。结合 GEO 生成式引擎优化的底层逻辑，本文辨析两类提问的诉求差异，解析各自对AI 搜索优化的内容、信源、结构要求，梳理落地建设思路。

2026-08-26

1690

每日论文速递 | [NeurIPS'23 Oral] DPO：Language Model 是一个 Reward Model

函数论文模型优化 model

摘要：虽然大规模无监督语言模型（LMs）可以学习广泛的世界知识和一些推理技能，但由于其训练完全不受监督，因此很难实现对其行为的精确控制。获得这种可控性的现有方法通常是通过人类反馈强化学习（RLHF），收集人类对各代模型相对质量的标签，并根据这些偏好对无监督语言模型进行微调。然而，RLHF 是一个复杂且经常不稳定的过程，首先要拟合一个反映人类偏好的奖励模型，然后利用强化学习对大型无监督 LM 进行微调，以最大限度地提高估计奖励，同时不会偏离原始模型太远。在本文中，我们介绍了 RLHF 中奖励模型的一种新参数化方法，它能以封闭形式提取相应的最优策略，使我们只需简单的分类损失就能解决标准的 RLHF 问题。由此产生的算法我们称之为直接偏好优化（DPO），它稳定、性能好、计算量小，在微调过程中无需从 LM 中采样，也无需进行大量的超参数调整。我们的实验表明，DPO 可以对 LM 进行微调，使其与人类偏好保持一致，甚至优于现有方法。值得注意的是，使用 DPO 进行的微调在控制代际情感的能力上超过了基于 PPO 的 RLHF，并且在总结和单轮对话中达到或提高了响应质量，同时在实现和训练方面也要简单得多。

2024-03-25

1.8K0

点击加载更多

词条知识树 19个知识点