OpenHermesPreferences数据集,由Argilla与Hugging Face H4团队协作创建,包含约100万条AI偏好数据。该数据集基于Teknium的高质量OpenHermes-2.5数据集,融合了Mixtral-8x7B-Instruct-v0.1和Nous-Hermes-2-Yi-34B模型的反馈,采用PairRM模型对输出进行评分和排名。该数据集可用于训练偏好模型或通过直接偏好优化等技术对齐语言模型。
详情请参见五号雷达:https://www.5radar.com/
数据集地址:https://huggingface.co/datasets/argilla/OpenHermesPreferences
领取专属 10元无门槛券
私享最新 技术干货