distilabel-internal-testing/deita

该数据集名为deita，是使用Distilabel创建的。数据集包含一个`pipeline.yaml`文件，可用于重现生成它的管道。数据集结构通过一个名为deita_filtering的配置示例进行描述，该示例包含answer、completion、conversation、deita_score和embedding等字段。该数据集是合成的，与distilabel和rlaif相关。

原始信息汇总

数据集卡片 for deita

数据集概述

该数据集包含一个 pipeline.yaml 文件，可用于在 distilabel 中重现生成该数据集的管道。可以通过以下命令运行或探索配置：

console distilabel pipeline run --config "https://huggingface.co/datasets/distilabel-internal-testing/deita/raw/main/pipeline.yaml"

或

console distilabel pipeline info --config "https://huggingface.co/datasets/distilabel-internal-testing/deita/raw/main/pipeline.yaml"

数据集结构

每个配置的示例具有以下结构：

<details><summary> 配置: deita_filtering </summary><hr>

json { "answer": "The code snippet provided is correct and does not contain any logical errors.", "completion": "The original code counts the number of lowercase vowels in a string, but the count should probably be case-insensitive. Here is a case-insensitive version.

function countVowels(str) { let vowels = [a, e, i, o, u]; let count = 0;

for (let i = 0; i < str.length; i++) { if (vowels.includes(str[i].toLowerCase())) { count++; } }

return count; }", "conversation": [ { "content": "Can you find and correct any logical errors in the following code snippet and output the corrected code?

function countVowels(str) { let vowels = [a, e, i, o, u]; let count = 0;

for (let i = 0; i < str.length; i++) { if (vowels.includes(str[i])) { count++; } }

return count; }", "role": "user" }, { "content": "The code snippet provided is correct and does not contain any logical errors.", "role": "assistant" } ], "deita_score": 1.0, "embedding": [ -4.91015625, 4.33203125, 1.9873046875, -6.66015625, -3.3671875, -5.59375, 0.1153564453125, -2.244140625, 5.04296875, 0.1068115234375, -2.48828125, -1.6728515625, -8.3671875, -3.8359375, 8.703125, -2.93359375, 0.29541015625, -1.927734375, 2.591796875, -1.3515625, 1.220703125, 0.446533203125, 1.6298828125, 2.84765625, -2.935546875, -9.15625, -4.03125, 2.095703125, -8.328125, 2.802734375, -0.65771484375, 3.705078125, -1.822265625, 4.2265625, -4.92578125, -2.234375, 4.421875, -6.12109375, 5.140625, -2.115234375, 6.1875, 3.685546875, 3.845703125, -3.419921875, 4.19921875, 0.38427734375, 1.69140625, 2.755859375, 2.791015625, 0.498291015625, 5.38671875, 6.77734375, 4.390625, 12.4609375, 2.216796875, -1.265625, -3.640625, 0.360595703125, 6.72265625, 2.75, 1.3349609375, -8.046875, -2.1484375, -3.537109375, 3.5859375, -0.281982421875, 1.4970703125, 10.5, -4.7265625, -3.658203125, 4.05859375, 2.087890625, -5.75390625, -2.53515625, 0.270751953125, 2.9921875, -2.365234375, -1.8916015625, -1.263671875, -2.486328125, 5.22265625, 1.2529296875, 1.849609375, -1.81640625, 3.103515625, -5.08203125, -5.421875, 0.315185546875, -3.84375, 1.2685546875, -4.328125, -3.396484375, -1.4970703125, -4.1640625, 2.146484375, -2.880859375, -2.5390625, 5.25390625, -3.904296875, 8.03125, 9.375, 4.41015625, 9.625, -4.8046875, 3.087890625, -8.0, 2.66796875, 4.5703125, 4.828125, 4.25, -4.1171875, -0.8466796875, 2.6015625, -5.328125, 0.0166015625, 1.3369140625, 0.377685546875, -5.76171875, 0.228759765625, 4.1875, -4.04296875, -2.716796875, -1.8056640625, -1.5341796875, 6.6796875, 8.6796875, -11.8828125, 4.375, 1.984375, -0.775390625, 3.873046875, 1.18359375, -0.3740234375, 1.6708984375, -7.36328125, -3.94921875, 6.171875, 4.421875, -1.1162109375, -3.875, 3.1015625, -1.517578125, -2.365234375, -3.849609375, 0.9599609375, 3.419921875, -0.2459716796875, -2.484375, -3.943359375, 3.40234375, -9.359375, -8.171875, -4.1171875, 0.9892578125, -1.2119140625, -7.9609375, 9.5859375, -8.53125, 1.775390625, -4.07421875, -0.1368408203125, -5.70703125, -1.7041015625, -2.626953125, -0.58544921875, 0.927734375, -5.8984375, -7.7578125, -0.19677734375, -5.9609375, -5.83203125, 4.2890625, 2.814453125, -4.31640625, 7.92578125, -1.68359375, -6.69140625, -6.69140625, 4.01171875, 2.57421875, -2.8046875, -2.734375, -2.640625, -2.505859375, 2.119140625, 3.619140625, 5.91015625, 0.267578125, -2.45703125, 7.5234375, 2.66015625, -4.44140625, -6.3359375, -0.55517578125, -2.236328125, 3.7734375, -1.759765625, 4.32421875, -2.634765625, 5.49609375, -1.4052734375, 3.6875, 2.94140625, 3.453125, 4.05078125, -4.7265625, 0.92138671875, 6.99609375, -0.433349609375, -0.93310546875, 3.56640625, 1.0224609375, 6.89453125, -0.09112548828125, 0.252197265625, 1.2529296875, 6.796875, 1.611328125, -1.1044921875, 1.890625, 8.0546875, 3.009765625, -1.1669921875, 3.875, -6.26171875, 4.6953125, -2.310546875, -2.970703125, -5.59765625, -5.2734375, 0.88427734375, -0.7265625, 0.90087890625, -8.796875, -3.369140625, 1.484375, 3.146484375, 3.091796875, -5.2734375, 2.53125, -8.9453125, 1.6279296875, -3.275390625, -4.30859375, -4.53515625, -3.130859375, -0.3427734375, -7.296875, -3.298828125, 3.478515625, -0.479736328125, -3.484375, 6.359375, 1.14453125, -3.51953125, -1.6396

搜集汇总

数据集介绍

构建方式

该数据集基于Distilabel框架构建，通过一个可复现的pipeline.yaml配置文件定义数据生成流程。用户可利用distilabel CLI工具直接运行该配置文件，从而复现数据集的构建过程。数据集中包含经过过滤的高质量对话样本，每个样本由用户提问和模型回答组成，并附有deita_score评分、嵌入向量等元信息，体现了从原始对话数据中筛选优质样本的设计思路。

特点

数据集以deita_filtering为单一配置，规模较小（n<1K），聚焦于合成数据与RLAIF（基于AI反馈的强化学习）场景。每个样本包含完整的对话历史、模型生成的completion文本、deita_score质量评分以及高维embedding向量，便于进行数据质量评估与语义相似度分析。其结构化存储方式支持对对话数据的细粒度检索与筛选，适用于训练数据筛选、模型微调等任务。

使用方法

用户可通过distilabel CLI直接复现数据集生成流程，命令为`distilabel pipeline run --config <pipeline.yaml URL>`。数据集以标准JSON格式存储，每条记录包含answer、completion、conversation、deita_score及embedding字段，可直接加载至Python环境进行数据处理。适用于基于对话质量的样本筛选实验、嵌入空间分析或作为RLAIF训练数据的候选集使用。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展浪潮中，高质量训练数据的筛选与构建成为提升模型性能的关键瓶颈。distilabel-internal-testing/deita数据集应运而生，由Argilla团队基于其开源工具Distilabel于近期创建，旨在探索如何通过自动化流水线高效过滤和增强合成数据。该数据集聚焦于指令微调场景下的数据质量评估，核心研究问题在于如何利用嵌入表示与评分机制（如deita_score）从海量合成对话中自动识别高价值样本，从而减少人工标注成本并提升微调效果。作为Distilabel生态的示范性数据集，它提供了可复现的pipeline配置，为后续研究者在数据筛选策略、合成数据质量评估及模型对齐（如RLAIF）等领域提供了重要基准，推动了数据驱动型LLM优化方法的标准化进程。

当前挑战

当前数据集面临的核心挑战包括：一、在领域问题层面，如何从大规模合成数据中精准区分有效与噪声样本仍是一大难题，现有deita_score单一维度评分难以全面覆盖对话的多样性、准确性与安全性等复杂指标，导致筛选结果可能偏向特定模式而忽略潜在优质数据。二、在构建过程中，数据集依赖的嵌入向量维度极高（768维），其计算与存储开销对资源有限的研究团队构成瓶颈；同时，pipeline的可复现性虽已通过YAML配置实现，但原始数据来源（如代码审查、问答对）的领域覆盖有限，可能引入偏见，影响下游模型在通用任务上的泛化能力。此外，合成数据中隐含的模型偏好与事实性错误未得到系统性验证，进一步加剧了数据质量控制的难度。

常用场景

经典使用场景

在自然语言处理与大型语言模型的对齐优化领域中，deita 数据集凭借其精心设计的过滤与评分机制，成为评估和筛选高质量指令微调样本的经典工具。研究者常利用该数据集中的 deita_score 指标，对海量合成对话数据进行质量排序，从而筛选出最具代表性的训练实例。其经典使用场景聚焦于指令微调数据的精炼过程，通过保留高分样本、剔除低质噪声，显著提升下游模型的响应准确性与语义一致性，为构建高效、鲁棒的对话系统提供了坚实的数据基础。

实际应用

在实际产业应用中，deita 数据集所代表的过滤与评分范式被广泛部署于对话式 AI 系统的数据清洗流水线中。企业可利用其 pipeline 配置与评分标准，对客服机器人、智能助手等场景下积累的用户交互数据进行自动化质量评估，剔除模糊、错误或低信息量的对话片段。此举不仅大幅降低了人工标注成本，还保障了训练数据的高保真度，进而使模型在真实部署环境中展现出更稳定、更符合用户预期的应答表现。

衍生相关工作

基于 deita 的数据筛选理念，学术界已衍生出多项具有影响力的后续工作。研究者借鉴其 deita_score 的计算逻辑，提出了结合多样性、难度与信息密度的多维度数据蒸馏框架；另有工作将其 pipeline 与动态课程学习策略相融合，构建出渐进式训练方案。此外，该数据集所采用的 distilabel 工具链也催生了大量关于合成数据生成与质量控制的基准研究，推动了从数据源头优化模型性能这一学术方向的发展，形成了以数据质量为核心的研究脉络。