Act-ONOMY

Act-onomy是一个用于LLM智能体行为分析的行为描述语料库及分类法数据集，旨在支持相关实证研究。该数据集包含两个核心部分：语料库和分类法。语料库部分包含从28篇源论文（P1-P35，其中7篇为保留论文）中提取的664个构建集行为描述句子，每个句子均标注了发现-判断建议代码、最终代码书纳入标志以及匿名人工验证者标识。此外，还提供了一个涵盖全部35篇论文的索引文件以及一个独立的116句保留验证集。分类法部分提供了最终确定的v1.0版分类法，采用三层结构：10个行动（Actions）、46个子行动（Subactions）和120个实例（Instances）。该分类法以人工验证的代码书（包含证据和评审者归属信息）、扁平分类表（包含稳定代码和定义）以及嵌套JSON树的形式提供。语料库和分类法通过paper_id和taxonomy_code两个连接键进行关联。数据集适用于文本分类任务，特别是智能体行为分类、定性分析和分类法构建等应用场景。数据集发布遵循CC BY 4.0许可协议，原始句子在合理使用原则下使用并保留了来源归属。Act-onomy is a corpus and taxonomy dataset for LLM agent behavior analysis, designed to support relevant empirical research. This dataset comprises two core components: the corpus and the taxonomy. The corpus section contains 664 behavioral description sentences extracted from 28 source papers (P1-P35, 7 of which are held-out papers). Each sentence is annotated with discovery-judgment suggestion codes, flags for inclusion in the finalized codebook, and anonymous human validator identifiers. Additionally, an index file covering all 35 papers and an independent 116-sentence held-out validation set are provided. The taxonomy section provides the finalized version 1.0 taxonomy, which adopts a three-tier structure: 10 Actions, 46 Subactions, and 120 Instances. This taxonomy is available in three formats: a human-validated codebook containing evidence and reviewer attribution information, a flat taxonomy table with stable codes and their definitions, and a nested JSON tree. The corpus and taxonomy are linked via two shared keys: paper_id and taxonomy_code. This dataset is applicable to text classification tasks, especially scenarios including agent behavior classification, qualitative analysis, and taxonomy construction. The dataset is released under the CC BY 4.0 license, and the original sentences are used under the fair use principle with their source attribution preserved.

原始信息汇总

数据集概述：Act-onomy Behavior-Description Corpus and Taxonomy

• 数据集名称：Act-onomy Behavior-Description Corpus and Taxonomy
• 许可协议：Creative Commons Attribution 4.0 International (CC BY 4.0)
• 语言：英语
• 数据集大小：小于 1K 样本
• 任务类别：文本分类
• 标签：agent-behavior, taxonomy, codebook, qualitative-analysis, llm-agents

数据集构成

该数据集包含两个主要部分：

1. 语料库 (Corpus)：

   • 包含 664 条从 28 篇源论文中提取的行为描述句子（另有 7 篇保留论文用于验证）。
   • 每条句子均标注了 Discovery-Judge 建议的代码、最终编码手册包含标志以及匿名的人工验证者信息。
   • 包括一份覆盖全部 35 篇论文的论文索引，以及一个独立的 116 句保留验证集。

2. 分类体系 (Taxonomy)：

   • 最终版本 v1.0 分类体系结构：10 个行动 (Actions) → 46 个子行动 (Subactions) → 120 个实例 (Instances)。
   • 提供人工验证的编码手册（包含证据和审核者归属）、扁平化的分类表（包含稳定代码和定义）以及嵌套的 JSON 树。

子集配置与文件

配置名称	数据文件路径	说明
behavioral_descriptions	corpus/behavioral_descriptions.csv	行为描述训练集（664 条句子）
behavioral_descriptions_validation	corpus/behavioral_descriptions_validation.csv	行为描述验证集（116 条句子）
papers	corpus/papers.csv	论文索引文件
codebook	taxonomy/act-onomy_codebook.csv	编码手册文件
taxonomy	taxonomy/act-onomy_taxonomy.csv	分类表文件

数据关联键

• paper_id：连接 papers.csv 与 behavioral_descriptions.csv。
• taxonomy_code：连接 act-onomy_codebook.csv 与 act-onomy_taxonomy.csv。

快速加载示例

python from datasets import load_dataset

corpus = load_dataset("anonymous5999/Act-ONOMY", name="behavioral_descriptions", split="train") validation = load_dataset("anonymous5999/Act-ONOMY", name="behavioral_descriptions_validation", split="train") papers = load_dataset("anonymous5999/Act-ONOMY", name="papers", split="train") codebook = load_dataset("anonymous5999/Act-ONOMY", name="codebook", split="train") taxonomy = load_dataset("anonymous5999/Act-ONOMY", name="taxonomy", split="train")

匿名性说明

该数据集与一份双盲提交论文关联。托管账户、论文 ID（P1–P35）以及审核者标签（human reviewer 1 – human reviewer 6）均为匿名。完整的源论文参考文献和贡献者身份将在论文正式发表时披露。

许可说明

• 数据集在 CC BY 4.0 许可下发布，适用于作者生成的注释、编码手册、分类体系及所有衍生元数据。
• behavioral_descriptions.csv 中的句子原文和 act-onomy_codebook.csv 中的引用证据，来自 35 篇源论文，基于研究合理使用/公平处理原则用于语料级方法分析，每行通过 paper_id 保留源归属。用户若在非商业研究之外重新分发或使用这些源句子，需自行遵守原始出版商的条款。

搜集汇总

数据集介绍

构建方式

Act-ONOMY数据集的构建基于对28篇源论文的系统性挖掘，从中提取了664条关于智能体行为描述的句子，形成行为描述语料库。每条句子均经过Discovery-Judge工具初步编码，并引入人工验证流程以确认其是否纳入最终编码手册。此外，数据集额外保留了7篇论文中的116条句子作为留出验证集，以增强评估的严谨性。通过对这些行为描述的归纳与抽象，研究团队进一步提炼出包含10个动作、46个子动作和120个实例的层次化分类体系，该分类体系以编码手册、扁平化分类表和嵌套JSON树三种形式发布，确保其可重用性与可解释性。

特点

该数据集的核心特色在于其双重结构：一方面，行为描述语料库涵盖了来自多篇论文的丰富且真实的智能体行为实例，每条句子附有编码建议、人工验证标记及来源论文标识，便于追溯与验证；另一方面，其分类体系（Taxonomy）经过人工审核，提供了从宏观动作到微观实例的清晰层级，稳定编码与明确定义并存。数据集还包含了完整的编码手册，附有证据与审阅者归属，彰显了构建过程的透明性与可复现性。每个子集通过paper_id和taxonomy_code紧密关联，形成有机整体。

使用方法

用户可通过HuggingFace Datasets库快速加载Act-ONOMY的各个子集。例如，使用load_dataset函数并指定配置名称如'behavioral_descriptions'可获取训练语料，'behavioral_descriptions_validation'用于验证集，'papers'提供论文索引，'codebook'与'taxonomy'则分别对应编码手册和分类体系。所有数据均以CSV格式存储，易于集成进文本分类或智能体行为分析流程。数据集采用CC BY 4.0许可，用户可在非商业研究中使用，若涉及源句子的再分发，需遵循原始出版方的条款。

背景与挑战

背景概述

随着大型语言模型（LLM）在智能体行为模拟中的广泛应用，如何系统性地描述和分类这些行为成为关键科学问题。Act-Onomy数据集由匿名研究团队于2026年创建，发表于NeurIPS 2026数据集与基准测试轨道，核心研究问题是构建一个覆盖智能体行为描述的结构化分类体系。该数据集从28篇源论文中提取664句行为描述语句，经过验证形成包含10个动作、46个子动作和120个实例的层级分类法。作为首个专门针对LLM智能体行为的规范分类基准，Act-Onomy为理解、比较和评估智能体行为提供了统一的语义框架，对推进智能体行为分析与建模领域具有奠基性意义。

当前挑战

该数据集面临的挑战包括：其一，在领域问题层面，智能体行为的语义复杂性导致难以用固定标签全面覆盖，现有分类体系常陷入含糊或过度细化的困境，而Act-Onomy需要在抽象性与粒度之间取得平衡；其二，在构建过程中，从35篇跨领域论文中提取统一的行为描述面临标注一致性难题，研究者采用自动编码与人工验证相结合的方法，但匿名化处理（如隐去论文作者和审稿人身份）增加了追溯和复现的困难，同时保留的原始语句在法律层面需严格遵守公平使用原则，对下游研究者的合规使用提出较高要求。

常用场景

经典使用场景

在人工智能与多智能体系统研究领域，Act-ONOMY数据集为深入理解智能体行为描述提供了系统化的分类框架。该数据集最关键的应用场景在于构建一套层级分明的行为描述本体论（taxonomy），涵盖10大类行为、46个子类和120个具体实例，从而实现对各类大语言模型智能体（LLM agent）行为的精准标注与归类。研究者可借助该数据集，从28篇代表性论文中提取的664条行为描述句子出发，通过代码书（codebook）进行系统编码和人工验证，最终形成标准化的行为分析工具。这套工具不仅支持智能体行为的文本分类任务，更为跨论文、跨场景的行为比较研究奠定了方法论基础，显著提升了智能体行为分析的客观性与可复现性。

解决学术问题

Act-ONOMY数据集直面当前智能体研究领域长期存在的行为描述不统一、分类体系缺失等核心方法论困境。通过系统梳理与分析35篇关键论文中的智能体行为描述，该数据集构建了一个经人工验证的、多层次的标准化分类系统，有效解决了如何在异构文献中建立可通约的行为分析框架这一学术难题。其诞生意义在于为研究者提供了从繁冗的语言描述中提炼结构化行为知识的方法论范式，使得不同研究团队能够基于同一套编码体系进行成果对比与累积。此外，该数据集附带的验证集（116条孤立句子）为评估行为分类算法的泛化能力提供了基准测试平台，推动了智能体行为理解领域从定性描述向定量分析的科学演进。

衍生相关工作

Act-ONOMY数据集的发布已经催生了一系列衍生研究工作，其中最为典型的是基于其分类体系的行为分析自动化工具与评估基准的构建。研究者利用该数据集训练专门的行为描述分类器，实现了对智能体日志文本的自动标注，大幅提升了对大规模智能体交互数据进行质性分析的效率。另有工作将该数据集与强化学习中的奖励设计结合，通过映射标准化的行为类别到奖励信号，引导智能体更高效地学习符合人类期望的行为策略。在可解释人工智能领域，该数据集的分类框架被用作解释生成的结构化模板，使复杂的行为输出得以转化为用户可理解的语义标签，从而增强了智能体决策过程的透明度与可信度。