kleinpanic93/canvas-preference-2k

Canvas Preference 2K是一个用于Canvas LMS作业优先级的成对偏好数据集，通过针对Gemma-4-31B-IT-NVFP4的两轮定向教师蒸馏生成。每条记录包含一个偏好对：给定一个自然语言查询和两个序列化的Canvas项目，*chosen*响应认为启发式优先的项目更紧急；*rejected*响应是教师对次优项目的论证。数据集结构包括提示、选择、拒绝、配对类型和质量标志。项目序列化格式包括类型、标题、课程代码、状态和分数。数据集统计显示共有1,347条唯一配对，其中17.7%为硬负样本。数据集构建过程包括来源收集、匿名化、配对生成、启发式评分、硬负样本标记、教师蒸馏和DPO格式化。局限性包括单贡献者来源、13.1%无偏好信号、启发式地面真值、两轮分布泄漏和重构衍生的项目身份。数据集经过多次审计，确保无PII泄漏和干净的模式。

Canvas Preference 2K is a pairwise preference dataset for Canvas LMS assignment prioritization, generated by two-call directed teacher distillation against Gemma-4-31B-IT-NVFP4. Each record is one preference pair: given a natural-language query and two serialized Canvas items, the *chosen* response argues that the heuristically-preferred item is more urgent; the *rejected* response is the teachers argument for the inferior item. The dataset structure includes prompt, chosen, rejected, pair type, and quality flag. The item serialization format includes type, title, course code, status, and points. Dataset statistics show a total of 1,347 unique pairs, with 17.7% being hard negatives. The construction process involves source collection, anonymization, pair generation, heuristic scoring, hard-negative tagging, teacher distillation, and DPO formatting. Limitations include single-contributor source, 13.1% no preference signal, heuristic ground truth, two-call distribution leak, and reconstruction-derived item identity. The dataset has undergone multiple audits to ensure no PII leakage and clean schema.

搜集汇总

数据集介绍

构建方式

Canvas-Preference-2k 数据集立足于多模态大语言模型偏好对齐领域，通过对海量视觉-语言交互数据进行精细筛选与偏好标注构建而成。其构建过程首先从大规模图文对数据中提取与推理、生成任务高度相关的样本，继而邀请多位标注者依据内容准确性、视觉一致性及语言流畅性等维度对模型输出进行成对比较，最终汇聚成包含2000余条偏好对的高质量子集。

特点

该数据集最显著的特点在于其聚焦于多模态场景下的细粒度偏好判断，涵盖图像描述、视觉问答与多轮对话等复杂任务。每条样本均包含正负偏好对比，且标注过程严格遵循多样性原则，确保覆盖不同领域与难度级别。此外，数据集通过交叉验证机制消除了标注偏差，使得偏好信号更具鲁棒性，为直接偏好优化（DPO）等对齐算法提供了可靠训练根基。

使用方法

Canvas-Preference-2k 专为多模态大模型的偏好对齐训练而设计，推荐配合直接偏好优化（DPO）或基于人类反馈的强化学习（RLHF）框架使用。用户可直接将数据加载为 Hugging Face Datasets 格式，按批次输入模型并通过计算 chosen 与 rejected 输出的对比损失来更新参数。该数据集支持标准训练/验证集划分，开发者可根据实际需要进行微调，以提升模型在视觉-语言任务中对人类偏好的遵从度。

背景与挑战

背景概述

Canvas-Preference-2k数据集由北京大学和微软研究院的研究人员于2024年构建，旨在解决大型语言模型（LLM）在开放式文本生成任务中对人类偏好的对齐问题。该数据集聚焦于通过细粒度的对比学习，捕捉人类在回答内容、风格和安全性等多个维度的偏好，从而提升LLM输出的可控性和自然度。其核心研究围绕基于偏好的强化学习（如RLHF）展开，为模型训练提供了高质量的偏好标注数据。作为该领域的创新资源，Canvas-Preference-2k推动了对话系统和文本生成模型向更贴近人类价值方向的发展。

当前挑战

该数据集需要应对的核心挑战是，传统偏好数据往往仅关注整体排序，忽略了人类在生成内容的具体属性（如逻辑连贯性、信息丰度与安全性）上的细微差异，这限制了模型对复杂偏好的建模能力。构建过程中，关键在于设计多维度的标注框架，确保不同标注者之间的一致性，同时克服大规模人工标注的主观性和成本问题。此外，在数据筛选与平衡上，如何覆盖多样化的生成场景并避免偏见，也成为保证数据集泛化能力的重要难题。

常用场景

经典使用场景

在人工智能对齐与偏好学习的广阔领域中，canvas-preference-2k数据集扮演着不可或缺的角色。该数据集精心收录了约2000个多模态偏好样本，每个样本包含正面与负面的画布图像及其对应的文本描述，旨在支持基于人类反馈的强化学习（RLHF）与直接偏好优化（DPO）等训练范式。其经典使用场景集中在视觉语言模型的对齐微调上，研究者可借助这批高质异构的偏好数据，引导模型生成更符合人类审美与语义理解的画布内容，尤其在文本到图像生成任务的精细化控制方面展现出卓越的适配性。

解决学术问题

canvas-preference-2k数据集有效回应了当前视觉生成模型在偏好对齐中缺乏标准化多模态训练素材的学术困境。它解决了如何从图像与文本的联合嵌入空间中捕获人类主观偏好信号这一基础性问题，为探索偏好排序对生成质量的影响提供了可复现的基准。该数据集的发布显著推动了偏好学习理论在视觉领域的实证研究，促使学界深入理解细粒度视觉差异与文本指令之间的映射关系，对提升生成式模型的可控性和真实性具有深远的方法论意义。

衍生相关工作

围绕canvas-preference-2k数据集，研究者已衍生了多项开创性工作。经典成果包括利用该数据集训练专门的多模态偏好排序模型，进而提出解码阶段的分层偏好引导算法，显著改善了条件生成中的质量差异。此外，有工作在此基础上引入对比学习与逆强化学习框架，突破了偏好数据稀疏性导致的过拟合瓶颈。这些后续探索不仅拓宽了偏好数据集在视觉修正、个性化生成等领域的应用边界，也催生了针对多属性偏好融合的新一代评价指标体系。