TACO

TACO数据集是由北京人工智能研究院和山东师范大学信息科学与工程学院联合创建的大型开源代码生成数据集，专注于算法主题，旨在为代码生成模型提供更具挑战性的训练数据和评估基准。该数据集包含26,443个编程任务，涵盖数学、数据结构和图论等多个领域，每个问题都附有详细的算法标签，如任务主题、算法、编程技能和难度级别，以提供更精确的训练和评估参考。TACO数据集不仅包含算法能力，还包含多方面的元数据，如时间和空间约束，旨在解决现实世界编程场景中的问题理解和推理能力评估。

The TACO dataset is a large-scale open-source code generation dataset co-developed by the Beijing Institute of Artificial Intelligence and the College of Information Science and Engineering, Shandong Normal University. It focuses on algorithm-related topics, aiming to provide more challenging training data and evaluation benchmarks for code generation models. The dataset contains 26,443 programming tasks covering multiple domains including mathematics, data structures, graph theory and others. Each problem is accompanied by detailed algorithmic labels such as task topic, algorithm, programming skills and difficulty level, to offer more precise references for training and evaluation. Besides algorithmic capabilities, the TACO dataset also includes various metadata such as time and space constraints, which aims to support the evaluation of problem understanding and reasoning abilities in real-world programming scenarios.

搜集汇总

数据集介绍

构建方式

TACO 数据集的构建方式融合了多视角感知与光学动作捕捉系统的优势，实现了全自动的数据采集流程。该流程首先从多视角 RGB 视频中获取手部运动信息，并通过在物体表面附着四个标记点，利用动作捕捉系统追踪物体运动。此外，数据集还包含从 12 个第三人称视角和 1 个第一人称视角捕获的视频，以及精确的手-物体网格、2D 分割、真实的手-物体外观和行为三元组标注。为了确保运动质量与视觉数据质量，该流程还自动提供了每个时间步的标签，包括对手-物体网格的精确恢复和无标记视觉数据上的分割。

使用方法

TACO 数据集的使用方法主要涉及三个任务：组合动作识别、可泛化的手-物体运动预测和协作抓取合成。组合动作识别旨在从手-物体交互视频中识别动作，即使测试集中的工具-动作-物体三元组在训练过程中未见。可泛化的手-物体运动预测旨在预测从已见短运动片段中后续的手-物体运动。协作抓取合成旨在在交互场景中生成逼真且物理上合理的抓取。TACO 数据集通过提供丰富的运动序列，为这三个任务提供了良好的基准，并揭示了泛化手-物体运动分析和合成领域的新见解、挑战和机遇。

背景与挑战

背景概述

TACO 数据集是首个大规模真实世界 4D 双手手-物交互数据集，涵盖了多样化的工具-动作-对象组合和对象几何形状。该数据集由清华大学、上海人工智能实验室和上海智臻智能研究所等机构的研究人员于 2024 年 3 月 25 日构建，旨在解决现有技术方法在分析合成双手手-物交互方面的局限性，并促进可推广的双手手-物交互理解和合成研究。TACO 数据集包含 2.5K 个运动序列，配以第三人称和第一人称视角的视频，精确的手-物 3D 网格，2D 分割，逼真的手-物外观和行为三元组标注。该数据集支持测试时间泛化到未见过的对象几何形状和新的行为三元组，并支持各种可推广研究主题，例如动作识别、运动预测和协作抓取。

当前挑战

TACO 数据集的挑战主要涉及两个方面：1) 所解决的领域问题的挑战：TACO 数据集旨在解决可推广的双手手-物交互理解和合成问题，这要求模型能够在未见过的对象几何形状和新的工具-动作-对象三元组上泛化。现有的方法在处理新的对象几何形状和三元组时面临着挑战，因为缺乏相应的训练数据和复杂的交互模式。2) 构建过程中的挑战：TACO 数据集的构建过程中面临着捕捉双手动态交互的挑战，以及去除标记以提高真实性的挑战。尽管数据采集系统采用了多视角传感和光学运动捕捉系统，但仍然难以捕捉到精确的双手交互和复杂的运动模式。此外，标记的去除需要应用生成模型，这可能导致无法恢复原始对象外观。

常用场景

经典使用场景

TACO数据集是一个大规模的双手工具-动作-物体交互数据集，覆盖了现实生活中广泛的工具-动作-物体组合。它包含来自12个第三人称视角和1个第一人称视角的视频，以及精确的手-物体网格、2D分割、逼真的手-物体外观和行为三元组注释。TACO数据集支持测试时泛化到未见过的物体几何形状和新的行为三元组，并评估了各种泛化研究主题，例如动作识别、运动预测和协同抓取。

解决学术问题

TACO数据集解决了现有技术方法在分析和合成手-物体交互方面大多局限于处理单个手和物体的问题。TACO数据集通过提供丰富的数据支持，使得研究人员可以更好地理解双手协调行为，并促进其在VR/AR、人机交互和灵巧操作等领域的应用。

实际应用

TACO数据集的实际应用场景包括：1) 动作识别：在VR/AR或人机交互中，识别用户的手部动作并理解其意图；2) 运动预测：预测手部动作的轨迹，以便机器人或其他设备可以更好地理解用户的动作并进行响应；3) 协同抓取：生成逼真的手部抓取动作，以便机器人或其他设备可以更好地执行抓取任务。

数据集最近研究

最新研究方向

TACO数据集作为首个大规模的真实世界4D双手手-物体交互数据集，为理解双手手-物体交互提供了丰富的数据支持。该数据集涵盖了多样化的工具-动作-物体组合和物体几何形状，并提供了精确的手-物体网格、分割和外观。基于TACO数据集，研究者们可以进行以下前沿研究方向的研究： 1. 组合式动作识别：通过学习手-物体交互动作的属性，实现对未见物体的动作识别。例如，可以研究如何利用训练数据中的相似动作或相似物体来识别测试时出现的罕见动作-物体对。 2. 泛化手-物体运动预测：利用TACO数据集提供的4D动态手-物体姿态序列，研究如何对未见物体几何形状下的手-物体运动趋势进行细粒度预测。 3. 协作抓取合成：基于TACO数据集提供的丰富交互行为，研究如何在交互场景下为未见物体几何形状和类别生成逼真且物理上可行的手抓取。例如，可以研究如何将手-物体交互数据分解为空间关系，并利用这些关系来生成手抓取。 TACO数据集为理解和创造手-物体交互提供了新的研究机会，并为开发通用的泛化策略提供了重要支持。

相关研究论文

• TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding

  · 2024年