Dolci-Think-DPO-7B

# Dolci Think 7B DPO Mixture
This dataset is licensed under ODC-BY. It is intended for research and educational use in accordance with Ai2's [Responsible Use Guidelines](https://allenai.org/responsible-use).

The Dolci Think 7B DPO mixture was used to preference tune Olmo 3 Think 7B. It contains 150,000 preference pairs created with the preference heuristic described in [Delta Learning](https://arxiv.org/abs/2507.06187) (Geng et al. 2025).

# Dolci Think 7B DPO 混合数据集
本数据集采用ODC-BY许可证授权，仅可遵照Ai2的《负责任使用指南（Responsible Use Guidelines）》（https://allenai.org/responsible-use）用于研究与教育用途。

此Dolci Think 7B DPO 混合数据集曾用于对Olmo 3 Think 7B模型进行偏好微调。该数据集包含15万条偏好样本对，其构建基于[Delta Learning](https://arxiv.org/abs/2507.06187)（Geng等人，2025）中提出的偏好启发式方法。

搜集汇总

背景与挑战

背景概述

Dolci-Think-DPO-7B数据集由allenai发布，遵循ODC-BY许可，适用于研究和教育目的。该数据集包含15万个偏好对，基于Delta Learning论文中的启发式方法构建，用于对Olmo 3 Think 7B模型进行偏好调优。