OpenDataArena/OpenDataArena-scored-data-2603

该数据集是一个多配置集合，包含多个子数据集，主要用于代码和数学领域的指令跟随任务。数据集配置包括AM-Thinking-v1-Distilled-code（约323,965个示例）、AM-Thinking-v1-Distilled-math（约558,129个示例）、Code-Feedback（约66,383个示例）、CodeFeedback-Filtered-Instruction（约156,526个示例）、DeepMath-103K（约309,066个示例）、EpiCoder-func-380k（约380,000个示例）和Evol-Instruct-Code-80k-v1（部分列出）。每个示例包含id、source、instruction（指令文本）和output（输出文本），以及processed_scores和raw_scores两个评分结构，涵盖AtheneRM、Cleanliness、LLM_as_Judge_Complexity、Compress_Ratio、Deita_Complexity、Deita_Quality、EmbedSVD_Entropy、Logical_Word_Count、HES、IFD、Instag、MTLD、Normalized_Loss、PPL、Professionalism、Writing_Style、Required_Expertise、Facts_Trivia、Educational_Value、Readability、Reasoning、SkyworkRM_Qwen、SkyworkRM_Llama、Token_Entropy、Token_Length、TreeInstruct_Node、TreeInstruct_Depth、Unique_Token_Ratio、UPD、VOCD-D等多个评估指标，用于量化文本质量、复杂性、专业性和可读性。数据集适用于训练和评估语言模型在代码生成、数学推理和反馈过滤等任务中的性能。本数据集为多配置集合，包含若干子数据集，主要面向代码与数学领域的指令跟随任务。数据集配置包括AM-Thinking-v1-Distilled-code（约323,965条示例）、AM-Thinking-v1-Distilled-math（约558,129条示例）、Code-Feedback（约66,383条示例）、CodeFeedback-Filtered-Instruction（约156,526条示例）、DeepMath-103K（约309,066条示例）、EpiCoder-func-380k（约380,000条示例）与Evol-Instruct-Code-80k-v1（仅部分列出）。每条示例均包含id、source、instruction（指令文本）、output（输出文本），以及processed_scores与raw_scores两类评分结构，涵盖AtheneRM、Cleanliness、LLM_as_Judge_Complexity、Compress_Ratio、Deita_Complexity、Deita_Quality、EmbedSVD_Entropy、Logical_Word_Count、HES、IFD、Instag、MTLD、Normalized_Loss、PPL、Professionalism、Writing_Style、Required_Expertise、Facts_Trivia、Educational_Value、Readability、Reasoning、SkyworkRM_Qwen、SkyworkRM_Llama、Token_Entropy、Token_Length、TreeInstruct_Node、TreeInstruct_Depth、Unique_Token_Ratio、UPD、VOCD-D等多项评估指标，用于量化文本质量、复杂度、专业性与可读性。本数据集可用于训练与评估语言模型在代码生成、数学推理及反馈过滤等任务中的性能表现。

搜集汇总

数据集介绍

构建方式

OpenDataArena-scored-data-2603 数据集汇聚了来自多个优质开源项目的数据子集，涵盖代码生成（如 Code-Feedback、Evol-Instruct-Code-80k-v1、EpiCoder-func-380k）、数学推理（DeepMath-103K）以及通用指令蒸馏（AM-Thinking-v1-Distilled-code/math）等多元领域。针对每条样本，该数据集系统性地采集了 29 项评价指标，包括基于奖励模型（如 AtheneRM、SkyworkRM）、文本质量（如 Readability、Professionalism）、复杂度（如 Deita_Complexity、LLM_as_Judge_Complexity）、信息密度（如 Token_Entropy、Compress_Ratio）以及结构化特征（如 TreeInstruct_Node/Depth）的原始评分与标准化处理后分数，构建了一个多维度、细粒度的数据评估基准。

特点

本数据集最显著的特征是其全面且精细化的评分体系，集合了自动化评估、语言模型评判与统计度量等多种手段，从逻辑推理、教育价值、写作文风到领域专业性等多角度刻画样本质量。数据来源的多样性保证了其覆盖广泛的指令场景，同时，每个子配置均保留了完整的原始与标准化评分，便于研究者根据自身需求对特定维度进行加权筛选或分析。借助统一的评分结构，该数据集为数据筛选、模型训练中的样本加权及数据质量分析提供了标准化基础。

使用方法

该数据集通过 Hugging Face Datasets 库加载，用户可按需选取特定配置（如 'Code-Feedback'）并直接获取 'instruction' 与 'output' 字段用于训练或评测。其核心应用在于利用包含的 29 项评分进行数据质量过滤：例如，可依据 'Reasoning' 分数筛选高质量推理样本，或结合 'AtheneRM' 与 'Cleanliness' 剔除低质量、杂乱的数据。对于希望优化训练数据分布的研究者，可通过 'processed_scores' 中的归一化评分设计加权采样策略，进而精准提升模型在特定能力维度上的表现。

背景与挑战

背景概述

OpenDataArena-scored-data-2603 数据集诞生于大语言模型对齐与数据质量评估研究蓬勃发展的背景下，由 OpenDataArena 团队构建并发布于 HuggingFace 平台。该数据集的核心研究问题聚焦于如何为多样化指令微调数据提供多维度、可量化的质量评分体系，以解决传统数据筛选依赖单一或少量指标而难以全面评估数据优劣的困境。通过汇聚包括困惑度、复杂度、教育价值、推理能力等在内的数十项评分指标，该数据集为领域内研究者提供了一个权威的数据质量基准，显著推动了数据驱动型模型优化的发展，对提升指令微调数据的透明度和可复用性产生了深远影响。

当前挑战

该数据集所应对的领域核心挑战在于如何系统性地量化指令微调数据的多维质量，因为数据质量直接决定了大语言模型的微调效果与泛化能力。在构建过程中，团队面临着艰巨的挑战：首先，需要整合来自不同来源、格式和领域的海量指令数据，确保数据集规模与多样性的平衡；其次，设计并集成一个覆盖语言学、语义学、复杂度及奖励模型等多个维度的评分体系，要求各指标之间既相互独立又协同互补；最后，处理和存储超过亿级别样本的原始分数与加工后分数，对计算资源与存储效率提出了极高要求，同时需保证评分过程的公平性与可重复性。

常用场景

经典使用场景

在人工智能与大语言模型迅猛发展的当下，数据质量成为模型性能跃升的关键瓶颈。OpenDataArena-scored-data-2603数据集为多维度数据质量评估提供了宝贵资源，其经典使用场景聚焦于对指令微调数据进行综合评分与筛选。通过整合AtheneRM、Deita_Quality、Readability、Reasoning等三十余项精细化的质量与复杂度指标，研究者能够从海量的指令-响应对中甄别出高质量、高价值的训练样本。该数据集尤其适用于构建数据筛选流水线，支持基于多准则加权或阈值过滤的策略优化，从而为训练出更强推理能力、更优写作风格和更高专业性的对话模型奠定数据基础。

实际应用

在实际产业应用中，该数据集最直接的价值在于赋能大语言模型的低成本高效微调。企业或研究机构可以借助该数据集的评分体系，对自身收集的对话数据进行质量排序与过滤，剔除低质量、噪声或冗余样本，仅保留复杂度适中、专业性强且教育价值高的指令对用于训练。这显著降低了微调的计算开销，同时提升了模型在数学推理、代码生成、语境理解等细分任务上的准确率与鲁棒性。此外，该数据集还可作为第三方数据标注质量的校验基准，帮助自动化评估合成数据或蒸馏数据的可信度，加速AI产品从实验室到落地的迭代周期。

衍生相关工作

围绕该数据集丰富的评分特征，衍生了众多引领领域发展的经典工作。在数据蒸馏与知识迁移方面，研究者利用其评分矩阵设计出基于多任务学习的质量预测器，实现对未标注数据的自动筛选。在奖励模型优化领域，AtheneRM与SkyworkRM系列指标被广泛用作模型对齐的辅助目标，促进了RLHF流程的改进。同时，Deita_Complexity与IFD等指标催生了针对数据难度与学习效率的建模方法，例如自适应课程学习策略。此外，TreeInstruct_Depth与EmbedSVD_Entropy等结构特征被用于构建细粒度的指令图谱，助力探索复杂指令的解构与生成，推动了可控文本生成与指令泛化研究的边界。