agent-primitives-pilot-1k

Agent Primitives Pilot: High-Entropy Extraction Dataset 是一个高保真智能体抽取数据集，专门面向小型、超快速语言模型与混合模型进行整理和对齐，例如 Liquid AI LFM2-1.2B-Extract 和 LFM3-1.7B。其目标是促使模型执行简洁、无幻觉的原始抽取（primitive extraction）。数据集中所有合成退化循环、流式重复和填充伪影均已被永久剔除，并且每个目标都严格满足不超过 32 token 的长度上限，部分原语的上限更短。数据集共包含 305,063 条干净样本，规模类别为 100K<n<1M，语言为英语，许可协议为 apache-2.0；任务类别包括 text-generation、question-answering 和 feature-extraction；标签包括 liquidai、lfm、structured-extraction、agent-primitives、distributed 和 distlab。数据集由 8 类原语构成：INT 有 99,162 条，占 32.51%，来自 MetaMathQA，目标为确定性整数答案，上限为 ≤12 token；SPAN 有 86,580 条，占 28.38%，来自 SQuAD v2，目标为逐字事实性文档答案片段，上限为 ≤32 token；STRUCT 有 59,270 条，占 19.43%，来自 LiquidAI/structured-extraction，目标为紧凑 JSON 键值抽取，上限为 ≤32 token；CODE 有 28,769 条，占 9.43%，来自 Romit2004/LinuxCommands 和 Glaive，目标为 Linux 命令与工具调用参数，上限为 ≤32 token；STR 有 9,575 条，占 3.14%，来自 SciQ 和 IETF RFCs，目标为科学与技术字符串抽取，上限为 ≤20 token；NOUL 有 8,553 条，占 2.80%，涉及显式非幻觉弃答，包括 null、BoolQ 与缺失 schema 字段，上限为 1 token；CHOICE 有 7,214 条，占 2.36%，来自 Fastino fast-decisions，目标为快速决策路由和工具名称选择，上限为 ≤6 token；REPLAY 有 5,940 条，占 1.95%，来自 Databricks Dolly，目标为精确复现和逐字状态恢复，上限为 ≤32 token。该数据集通过 distlab 分布式集群引擎进行处理与验证，使用 32 个空闲计算节点（384 CPU 核）；主节点为 10.5.16.86，负责编排、切片、parquet 编码与上传；32 个 worker 节点仅使用标准库，在 ~/.work/ 内运行，不触碰宿主目录；通过 distlab submit --batch 并发调度 32 个任务，Batch ID 为 b_1031_185710_e3da，4.8 秒完成，32/32 成功，0 失败；目标验证显示目标 token 违规为 0，即 >32 token 的占比为 0.00%。README 的 Quickstart 示例展示使用 datasets.load_dataset 加载 saidurga001301/agent-primitives-pilot-1k，设置 data_dir=data_compact、split=train，并查看总行数与样本。该数据集适用于面向智能体原语抽取的文本生成、问答、结构化抽取、工具调用与路由、弃答以及状态复现等任务。说明：上述信息表明该数据集强调干净、短输出、无幻觉、结构化与可验证的原语抽取，适合训练或评估轻量级抽取模型和智能体基础能力。

原始信息汇总

数据集概述

• 数据集页面：https://huggingface.co/datasets/saidurga001301/agent-primitives-pilot-1k
• 数据集名称：saidurga001301/agent-primitives-pilot-1k
• 标题：Agent Primitives Pilot: High-Entropy Extraction Dataset (305k Rows)
• 总行数：305,063 条干净行
• 定位：高保真智能体抽取数据集，面向小型、超快语言和混合模型，例如 Liquid AI LFM2-1.2B-Extract 和 LFM3-1.7B
• 特点：所有合成退化循环、流式重复和填充伪影已永久剪枝；每个目标严格满足 ≤32 token 上限，以迫使模型进行简洁、无幻觉的 primitive extraction

元信息

项目	内容
许可证	apache-2.0
任务类别	text-generation、question-answering、feature-extraction
语言	en
标签	liquidai、lfm、structured-extraction、agent-primitives、distributed、distlab
规模类别	100K<n<1M

组成汇总

总计：305,063 条干净行

原语	样本数	占比	描述与基准来源	目标上限
INT	99,162	32.51%	确定性整数答案（MetaMathQA）	≤12 tokens
SPAN	86,580	28.38%	逐字事实文档答案片段（SQuAD v2）	≤32 tokens
STRUCT	59,270	19.43%	紧凑 JSON 键值提取（LiquidAI/structured-extraction）	≤32 tokens
CODE	28,769	9.43%	Linux 命令与工具调用参数（Romit2004/LinuxCommands、Glaive）	≤32 tokens
STR	9,575	3.14%	科学与技术字符串提取（SciQ、IETF RFCs）	≤20 tokens
NOUL	8,553	2.80%	显式非幻觉弃权（"null"、BoolQ 与缺失 schema 字段）	1 token
CHOICE	7,214	2.36%	快速决策路由与工具名选择（Fastino fast-decisions）	≤6 tokens
REPLAY	5,940	1.95%	精确复现与逐字状态恢复（Databricks Dolly）	≤32 tokens

分布式集群执行（distlab 编排）

• 使用 distlab 分布式集群引擎处理并验证数据集。
• 计算资源：32 个空闲计算节点，384 CPU 核心。
• 主节点：10.5.16.86，负责编排、切片、parquet 编码和上传。
• 工作节点执行：32 个节点执行纯标准库 workers，严格在 ~/.work/ 内运行，不触碰宿主目录。
• 批次派发：32 个作业通过 distlab submit --batch 并发派发，Batch ID：b_1031_185710_e3da。
• 运行时间：在 32 个节点上 4.8 秒完成，32/32 成功，0 失败。
• 目标验证：0 个目标 token 违规，>32 tokens = 0.00%。

快速使用

python from datasets import load_dataset

Load compact high-entropy shards directly:

ds = load_dataset("saidurga001301/agent-primitives-pilot-1k", data_dir="data_compact", split="train")

print(f"Total Rows: {len(ds):,}") print("Sample:", ds[0])

搜集汇总

数据集介绍

构建方式

面向智能体原语抽取与小型混合模型对齐需求，该数据集的构建依托 distlab 分布式集群引擎，在 32 个空闲计算节点、384 个 CPU 核心上并行调度。主节点承担编排、切片、Parquet 编码与上传，工作节点以纯标准库进程在 ~/.work/ 内执行，32 个批次并发提交，批标识为 b_1031_185710_e3da，运行 4.8 秒且全部成功。数据从 MetaMathQA、SQuAD v2、LiquidAI/structured-extraction、LinuxCommands、Glaive、SciQ、IETF RFCs、BoolQ、fast-decisions 与 Databricks Dolly 等来源汇聚，经清洗修剪合成退化循环、流式重复与填充伪影，并验证目标 token 违规为零，最终形成 305,063 行洁净样本。

特点

作为面向小型超快语言与混合模型的高熵抽取数据集，其核心特征在于以 ≤32 token 的严格天花板约束目标输出，迫使模型习得简洁、无幻觉的原语抽取能力。数据覆盖 INT、SPAN、STRUCT、CODE、STR、NOUL、CHOICE、REPLAY 八类原语，分别对应确定性整数、文档事实片段、紧凑 JSON、Linux 命令与工具参数、科学技术字符串、显式非幻觉弃权、快速决策路由及逐字状态恢复，样本占比从 32.51% 至 1.95% 不等。305,063 行洁净样本已剔除合成退化与填充伪影，目标 token 违规率为 0.00%，语言为英文，任务类别涵盖文本生成、问答与特征抽取。

使用方法

服务于智能体原语抽取、工具调用参数生成、结构化信息抽取与非幻觉弃权训练，该数据集可通过 Hugging Face datasets 库便捷加载。调用 load_dataset('saidurga001301/agent-primitives-pilot-1k', data_dir='data_compact', split='train') 即可载入紧凑高熵分片，继而检查总行数并查看首条样本。其短目标设计适合小型语言模型与混合模型进行监督微调、指令对齐和评测，也可用于文本生成、问答及特征抽取任务中的基准构建。Apache-2.0 许可为研究与应用提供开放使用条件，数据目录 data_compact 指向高密度存储分片，便于快速迭代实验。

背景与挑战

背景概述

在智能体系统日益依赖语言模型完成结构化感知与工具调用的背景下，agent-primitives-pilot-1k 面向小型与混合模型的高保真原语抽取需求而构建。该数据集由 saidurga001301 发布，标签指向 Liquid AI 与 distlab，明确服务于 LFM2-1.2B-Extract 和 LFM3-1.7B 等超快模型；公开卡片未标注确切创建日期。其核心研究问题是在不超过32 token的紧凑输出约束下，统一整数、事实片段、JSON键值、Linux命令、科学字符串、非幻觉弃权、快速决策与状态重放等异质原语，形成305,063行清洗样本。数据集融合 MetaMathQA、SQuAD v2、LiquidAI结构化抽取、LinuxCommands、Glaive、SciQ、IETF RFCs、BoolQ、fast-decisions 与 Dolly 等来源，对智能体抽取、低幻觉生成和小模型高效部署具有基准与训练价值。

当前挑战

面向智能体原语抽取的领域问题，其难点在于模型须在高度异质的语义空间内稳定输出短小目标，并严格抑制幻觉、流式重复与合成退化。该数据集需同时处理整数确定性答案、文档事实跨度、紧凑JSON、Linux命令与工具参数、科学字符串、显式弃权、快速选择路由及逐字重放，任何格式偏移或语义漂移都会破坏下游执行可靠性。构建过程中，多源基准的融合与清洗面临标签口径不一、上下文噪声、长尾缺失和类别不均衡等挑战；所有目标还需压缩至32 token以内并验证零违规。distlab 在32个空闲节点、384个CPU核心上并行调度与校验，虽以4.8秒完成批处理，却要求严格隔离工作目录、保持分片一致性与上传编码可靠，凸显大规模高保真抽取数据生产的工程约束。

常用场景

经典使用场景

面向智能体基元抽取这一新兴任务，agent-primitives-pilot-1k以高保真、低冗余的监督样本为小型超快语言模型与混合模型提供经典微调与评测场景。其核心用法在于将自然语言指令映射为受严格词元上限约束的短输出，覆盖整数计算、文档答案片段、紧凑JSON键值、Linux命令与工具调用参数、科学技术字符串、显式弃答、快速决策路由以及逐字复现等八类原语。研究者可借助datasets库加载data_compact分片，在训练或推理阶段评估模型能否仅生成不超过三十二词元的目标，从而适应Liquid AI LFM2-1.2B-Extract、LFM3-1.7B等边缘部署模型的抽取需求。

解决学术问题

在智能体抽取研究中，幻觉、冗余输出、长尾格式漂移与词元超限长期制约小模型可靠性。该数据集通过剔除合成退化循环、流式重复与填充伪影，并以零目标词元违规验证，为学术社区提供洁净且可复现的监督信号。它使有限容量模型得以在统一框架下学习确定性整数抽取、证据片段定位、结构化键值生成、命令参数捕获、非幻觉弃答和快速选择，缓解传统问答与生成基准中目标松散、评价口径不一的问题。其意义在于把智能体原语抽取转化为受控、可量化的研究问题，并为低延迟混合模型的对齐、校准与鲁棒性分析提供实证基础。

衍生相关工作

围绕该数据集形成的相关工作，主要体现为Liquid AI LFM系列小型超快模型的抽取能力构建与验证，尤其是LFM2-1.2B-Extract与LFM3-1.7B面向智能体原语的适配。其数据构成整合了MetaMathQA、SQuAD v2、LiquidAI结构化抽取、Linux命令与Glaive工具调用、SciQ与IETF RFC文本、BoolQ缺失字段弃答、Fastino快速决策以及Databricks Dolly状态复现等资源，进而推动结构化抽取、快速决策路由和非幻觉弃答等子任务在统一基准下发展。distlab分布式集群编排亦为大规模洁净数据生产提供了工程范式。