mwhanna/ACT-Thor

# Dataset Card for ACT-Thor ## Table of Contents - [Table of Contents](#table-of-contents) - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks](#supported-tasks) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Repository:** https://github.com/hannamw/ACT-Thor - **Paper:** Paper ACT-Thor: A Controlled Benchmark for Embodied Action Understanding in Simulated Environments (COLING 2022; Link to be added soon) - **Point of Contact:** Michael Hanna ([e-mail]) ### Dataset Summary This dataset is intended to test models' abilities to understand actions, and to do so in a controlled fashion. It is generated automatically using [AI2-Thor](https://ai2thor.allenai.org/), and thus contains images of a virtual house. Models receive an image of an object in a house (the before-image), an action, and four after-images that might have potentially resulted from performing the action on the object. Then, they must predict which of the after-images actually resulted from performing the action in the before-image. ### Supported Tasks This dataset implements the contrast set task discussed in the paper: given a before image and an action, predict which of 4 after images is the actual result of performing the action in the before image. However, the raw data (not included here) could be used for other tasks, e.g. given a before and after image, infer the action taken. Feel free to reach out and request the full data (with all of the metadata and other information that might be useful), or collect it automatically using the scripts available on the project's [GitHub repo](https://github.com/hannamw/ACT-Thor)! ## Dataset Structure ### Data Instances There are 4441 instances in the dataset, each consisting of the fields below: ### Data Fields - id: integer ID of the example - object: name (string) of the object of interest - action: name (string) of the action taken - action_id: integer ID of the action taken - scene: the ID (string) of the scene from which this example comes - before_image: The before image - after_image_{0-3}: The after images, from which the correct image is to be chosen - label: The index (0-3) of the correct after image Only the action_id, before_image, and after_image need be fed into the model, which should predict the label. ### Data Splits We create 3 different train-valid-test splits. In the sample split, each examples has been randomly assigned to either the train, valid, and test split, without any special organization. The object split introduces new objects in the test split, to test object generalization. Finally, the scene split is organized such that the scenes contained in train, valid, and test are disjoint (to test scene generalization). ## Dataset Creation ### Curation Rationale This dataset was curated for two reasons. Its main purpose is to test models' abilities to understand the consequences of actions. However, its creation also intends to showcase the potential of virtual platforms as sites for the collection of data, especially in a highly controlled fashion. ### Source Data #### Initial Data Collection and Normalization All of the data is collected by navigating throughout AI2-Thor virtual environments and recording images in metadata. Check out the paper, where we describe this process in detail! ### Annotations #### Annotation process This dataset is generated entirely automatically using AI2-Thor, so there are no annotations. In the paper, we discuss annotations created by humans performing the task; these are only used to check that the task is feasible for humans. We're happy to release these if requested; these were collected from students at 2 universities. ## Considerations for Using the Data ### Discussion of Biases This paper uses artificially generated images of homes from AI2-Thor. Because of the limited variety of homes, a model performing well on this dataset might not perform well in the context of other homes (e.g. of different designs, from different cultures, etc.) ### Other Known Limitations This dataset is small, so updating it to include a greater diversity of actions / objects would be very useful. If these actions / objects are added to AI2-Thor, more data can be collected using the script on our [GitHub repo](https://github.com/hannamw/ACT-Thor). ## Additional Information ### Dataset Curators Michael Hanna ([e-mail]), Federico Pedeni ([e-mail]) ### Licensing Information Creative Commons 4.0 ### Citation Information Please cite the associated COLING 2022 paper, "Paper ACT-Thor: A Controlled Benchmark for Embodied Action Understanding in Simulated Environments". The full citation will be added here when the paper is published. ### Contributions Thanks to [@hannamw](https://github.com/hannamw) for adding this dataset.# ACT-Thor 数据集卡片 ## 目录 - [目录](#table-of-contents) - [数据集描述](#dataset-description) - [数据集概述](#dataset-summary) - [支持任务](#supported-tasks) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集构建](#dataset-creation) - [数据集遴选缘由](#curation-rationale) - [源数据](#source-data) - [标注信息](#annotations) - [数据集使用注意事项](#considerations-for-using-the-data) - [偏差分析](#discussion-of-biases) - [已知其他局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集维护者](#dataset-curators) - [许可信息](#licensing-information) - [引用信息](#citation-information) - [贡献致谢](#contributions) ## 数据集描述 - **仓库地址**：https://github.com/hannamw/ACT-Thor - **论文**：《ACT-Thor：模拟环境中具身动作理解（Embodied Action Understanding）的可控基准》（COLING 2022；链接待补充） - **联系人**：Michael Hanna ([e-mail]) ### 数据集概述 本数据集用于测试模型理解动作的能力，且采用可控实验范式构建。其通过[AI2-Thor](https://ai2thor.allenai.org/)自动生成，包含虚拟住宅的图像数据。模型将接收一张住宅内某物体的图像（前图像）、一个动作指令，以及四张可能由该动作作用于物体后产生的后图像，随后需要预测四张后图像中哪一张是执行该动作后的真实结果。 ### 支持任务 本数据集实现了论文中提出的对比集任务：给定前图像与动作指令，预测四张后图像中哪一张是执行该动作后的真实结果。不过原始数据（本仓库未包含）可用于其他任务，例如给定前后图像，推断所执行的动作。您可随时联系我们申请完整数据（包含所有元数据及其他有用信息），或通过项目[GitHub仓库](https://github.com/hannamw/ACT-Thor)提供的脚本自动采集完整数据。 ## 数据集结构 ### 数据实例 本数据集共包含4441条数据实例，每条实例均包含以下字段： ### 数据字段 - id：示例的整数编号 - object：目标物体的名称（字符串类型） - action：所执行动作的名称（字符串类型） - action_id：所执行动作的整数编号 - scene：该示例所属场景的ID（字符串类型） - before_image：前图像 - after_image_{0-3}：后图像，共四张，需从中选出正确图像 - label：正确后图像的索引（0-3） 仅需将action_id、before_image与after_image输入模型，模型需预测对应的label。 ### 数据划分 我们设置了三种不同的训练-验证-测试划分方式： 1. 随机划分：所有示例被随机分配至训练集、验证集与测试集，无特殊组织规则； 2. 物体划分：测试集包含训练集未出现过的物体，用于测试模型的物体泛化能力； 3. 场景划分：训练集、验证集与测试集包含的场景完全互斥，用于测试模型的场景泛化能力。 ## 数据集构建 ### 数据集遴选缘由 本数据集的构建有两个目的：其一，核心目标是测试模型理解动作后果的能力；其二，旨在展示虚拟平台作为数据采集场景的潜力，尤其是在高度可控的实验环境中。 ### 源数据 #### 初始数据采集与标准化 所有数据均通过在AI2-Thor虚拟环境中漫游并记录图像与元数据采集得到。详细采集流程请参考本数据集对应的论文。 ### 标注信息 #### 标注流程 本数据集完全通过AI2-Thor自动生成，无人工标注环节。在论文中，我们讨论了由人类受试者完成该任务的标注结果，这些标注仅用于验证该任务对人类而言是可行的。若有需求，我们可公开这些由两所大学学生采集的标注数据。 ## 数据集使用注意事项 ### 偏差分析 本数据集使用的是AI2-Thor生成的人工住宅图像。由于住宅场景的多样性有限，在本数据集上表现良好的模型，在其他场景（例如不同设计风格、不同文化背景的住宅）中可能表现不佳。 ### 已知其他局限性 本数据集规模较小，因此扩展数据集以包含更多样化的动作与物体将具有重要价值。若AI2-Thor平台新增了相关动作与物体，可通过本项目[GitHub仓库](https://github.com/hannamw/ACT-Thor)提供的脚本采集更多数据。 ## 附加信息 ### 数据集维护者 Michael Hanna ([e-mail])、Federico Pedeni ([e-mail]) ### 许可信息 知识共享4.0协议（Creative Commons 4.0） ### 引用信息 请引用对应的COLING 2022论文《ACT-Thor：模拟环境中具身动作理解的可控基准》。论文的完整引用信息将在论文正式发表后补充至此。 ### 贡献致谢 感谢[@hannamw](https://github.com/hannamw)提交本数据集。

原始信息汇总

数据集概述

数据集名称

ACT-Thor

数据集目的

测试模型理解动作后果的能力，并在控制环境中进行测试。

数据集内容

• 数据实例数量：4441个
• 数据字段：
  • id: 整数ID
  • object: 对象名称（字符串）
  • action: 动作名称（字符串）
  • action_id: 动作的整数ID
  • scene: 场景ID（字符串）
  • before_image: 动作前的图像
  • after_image_{0-3}: 动作后的图像，共四个
  • label: 正确结果的索引（0-3）

数据集结构

• 数据分割：三种分割方式，包括随机分割、对象分割和场景分割，以测试不同类型的泛化能力。

数据集创建

• 数据收集：通过AI2-Thor虚拟环境自动收集。
• 注释：无人工注释，数据集完全自动生成。

使用考虑

• 偏差讨论：由于使用AI2-Thor生成的虚拟家庭图像，模型可能无法泛化到其他设计或文化背景的家庭。
• 其他已知限制：数据集较小，增加动作和对象的多样性将非常有用。

附加信息

• 数据集管理员：Michael Hanna, Federico Pedeni
• 许可信息：Creative Commons 4.0
• 引用信息：请引用COLING 2022论文，"Paper ACT-Thor: A Controlled Benchmark for Embodied Action Understanding in Simulated Environments"。

搜集汇总

数据集介绍

构建方式

在具身智能研究领域，理解动作对物理世界的影响是核心挑战之一。ACT-Thor数据集基于AI2-Thor虚拟仿真平台自动生成，旨在为动作理解提供高度可控的基准测试。数据采集过程中，系统在虚拟房屋环境中遍历并记录目标物体的操作前图像（before-image），随后执行特定动作并捕获操作后图像（after-image）。为构建对比任务，每个实例包含一张操作前图像、一个动作标签以及四张候选操作后图像，其中仅一张为真实结果。数据集共包含4441个实例，涵盖多种物体与动作组合，并通过随机、物体泛化及场景泛化三种划分方式生成训练-验证-测试集，以评估模型在不同泛化维度上的表现。

特点

ACT-Thor数据集的核心特色在于其高度可控的构建范式与对比学习任务设计。依托AI2-Thor虚拟环境，数据集确保了动作-结果对的精确对应，消除了真实世界数据采集中的噪声与歧义。其对比任务要求模型从四张候选图像中甄别动作的真实结果，直接检验模型对动作因果关系的理解能力。此外，数据集通过物体泛化与场景泛化两种测试划分，系统性地评估模型对未见物体和新环境的适应能力，揭示了当前模型在跨场景迁移上的局限性。该数据集的局限性在于虚拟房屋风格有限，可能影响模型在真实多样化环境中的泛化性能。

使用方法

使用ACT-Thor数据集时，研究者需将操作前图像、动作标识符及四张候选操作后图像输入模型，并预测正确图像对应的索引标签（0-3）。模型可直接利用提供的action_id、before_image及after_image字段进行训练与评估。数据集的三种划分方式支持不同研究目标：随机划分适用于基础能力测试，物体泛化划分用于检验模型对未见过物体的推理能力，场景泛化划分则考察跨环境迁移性能。研究者亦可参考GitHub仓库中的自动化脚本，扩展数据集以纳入AI2-Thor平台新增的动作或物体。该数据集采用Creative Commons 4.0许可协议，适用于学术研究中的动作理解基准测试。

背景与挑战

背景概述

在具身智能与视觉推理交叉领域，理解动作对环境的因果影响是构建自主智能体的核心挑战之一。ACT-Thor数据集由Michael Hanna与Federico Pedeni于2022年创建，依托AI2-Thor虚拟仿真平台，旨在为动作理解提供高度可控的基准测试。该数据集通过模拟家庭环境中物体在特定动作后的状态变化，构建了对比集任务：模型需从四张候选图像中，甄别出对目标物体执行动作后实际产生的后果图像。其研究问题聚焦于评估模型在动作后果预测上的泛化能力，尤其关注对象泛化与场景泛化两个维度。该数据集以4441个实例、三种独立划分（随机、对象、场景）的设计，为具身动作理解提供了标准化评估框架，推动了虚拟环境在因果视觉推理研究中的应用。

当前挑战

当前ACT-Thor数据集面临的核心挑战源于其虚拟环境与有限规模的内在约束。首先，AI2-Thor平台提供的家庭场景种类有限，导致数据集在文化多样性、建筑风格及空间布局上存在显著偏差，模型在此数据集上的优异表现难以迁移至真实世界或不同虚拟环境。其次，数据集仅涵盖有限的动作类型与物体类别，制约了模型对复杂、长序列动作因果链的理解能力，且缺乏对动作失败或意外结果的建模。在构建层面，全自动生成流程虽规避了人工标注成本，但无法捕捉人类对动作结果的主观判断歧义，也未能纳入动态交互中常见的物理不确定性（如物体滑动、碰撞角度变异）。此外，对比集任务的设计虽简化了评估，却回避了动作推理中更本质的开放生成问题，即模型需从连续状态空间中推断完整的状态变迁轨迹。

常用场景

经典使用场景

在具身智能与视觉推理的交叉领域中，ACT-Thor数据集被广泛用于评估模型对动作后果的理解能力。其核心任务设计精巧：给定一张物体操作前的场景图像与一个具体动作，模型需从四张候选图像中精准挑选出该动作执行后的真实结果。这种对比式选择范式，使得研究者能够系统性地测试模型在虚拟家庭环境中的动作因果推理水平，尤其适用于探究模型是否真正习得了动作与状态变化之间的映射关系，而非依赖表面视觉特征。

解决学术问题

该数据集精准回应了动作理解研究中长期存在的两大难题：一是缺乏可精细控制变量的标准化基准，二是难以分离动作推理与物体识别、场景理解等混杂因素。ACT-Thor通过引入对象泛化与场景泛化两种划分策略，使研究者能够独立考察模型在未见物体或全新环境中的泛化能力。这一设计显著推动了具身动作理解领域的方法论进步，为后续研究提供了严谨的对比实验框架，并强调了虚拟仿真平台在构建可控认知任务中的独特价值。

衍生相关工作

ACT-Thor的发布催生了一系列延伸性研究，包括基于对比学习框架改进动作表征的模型、融合多模态线索进行因果推理的神经网络架构，以及利用仿真环境生成大规模动作理解训练数据的系统性方法。其对比任务设计理念也被后续工作借鉴，用于构建更复杂的时序动作推理基准。此外，该数据集所依托的AI2-Thor平台因ACT-Thor的示范而获得更多关注，推动了更多基于虚拟环境的可控认知实验设计，形成了从数据生成、模型评估到泛化分析的研究闭环。