taccap-g1-arrange-food-packaging-bags

TaccAP-G1 Arrange Food Packaging Bags 数据集是一个用于机器人操作研究的数据集，由LeRobot框架创建，许可证为Apache-2.0。该数据集聚焦于双臂机器人（bi_taccap_gripper）执行整理食品包装袋的任务。数据集包含388个演示片段（episodes），总计495174帧（frames），采样率为30帧/秒。所有数据划分为训练集（0:388个片段）。数据特征包括：动作（action）和观测状态（observation.state），各包含20维的左右机械臂TCP位姿（位置和旋转）及夹爪位置；多个视觉观测模态：左侧触觉图像（左/右两个传感器，400x700）、右侧触觉图像（左/右两个传感器，400x700）、左腕部摄像头图像（480x640）、右腕部摄像头图像（480x640），均为视频格式（H.264编码，30fps）；此外还有时间戳、帧索引、片段索引、索引和任务索引等辅助字段。数据以parquet文件和MP4视频文件存储。该数据集适用于机器人模仿学习、双臂操作策略学习、触觉感知与视觉融合等任务。The TaccAP-G1 Arrange Food Packaging Bags dataset is a dataset for robot manipulation research, created by the LeRobot framework and licensed under Apache-2.0. It focuses on a dual-arm robot (bi_taccap_gripper) performing the task of arranging food packaging bags. The dataset contains 388 episodes, totaling 495,174 frames at a sampling rate of 30 fps. All data is split into a training set (episodes 0 to 388). Data features include: action and observation state, each with 20 dimensions representing left and right arm TCP poses (position and rotation) and gripper positions; multiple visual observation modalities: left tactile images (left/right sensors, 400x700), right tactile images (left/right sensors, 400x700), left wrist camera images (480x640), right wrist camera images (480x640), all in video format (H.264 encoding, 30fps); additionally, auxiliary fields such as timestamps, frame indices, episode indices, index, and task index. Data is stored as parquet files and MP4 video files. The dataset is suitable for robot imitation learning, dual-arm manipulation policy learning, tactile perception and visual fusion, among other tasks.

原始信息汇总

数据集概述：TacVerse/taccap-g1-arrange-food-packaging-bags

基本信息

• 任务类别: 机器人学（Robotics）
• 许可证: Apache-2.0
• 创建工具: 使用 LeRobot（https://github.com/huggingface/lerobot）创建
• 数据集可视化: https://huggingface.co/spaces/lerobot/visualize_dataset?path=TacVerse/taccap-g1-arrange-food-packaging-bags

数据集规模

项目	数值
总集数（Episodes）	388
总帧数（Frames）	495,174
总任务数	1
分块大小（Chunks Size）	1,000
数据文件大小	100 MB
视频文件大小	200 MB
帧率（FPS）	30
训练集划分	训练集（全部388集）

机器人配置

• 机器人类型: bi_taccap_gripper
• 代码库版本: v3.0

数据特征

动作特征（Action）

• 数据类型: float32
• 维度: 20维
• 包含字段:
  • 左/右TCP坐标（x, y, z）及旋转参数（r1-r6）
  • 左/右夹爪位置

状态观测特征（Observation State）

• 数据类型: float32
• 维度: 20维
• 字段与动作特征相同

图像观测特征（Observation Images）

共6个摄像头视角，均为视频数据：

视角	分辨率	编码格式
left_tactile_left	400×700×3	H.264 (yuv420p)
left_tactile_right	400×700×3	H.264 (yuv420p)
left_wrist	480×640×3	H.264 (yuv420p)
right_tactile_left	400×700×3	H.264 (yuv420p)
right_tactile_right	400×700×3	H.264 (yuv420p)
right_wrist	480×640×3	H.264 (yuv420p)

• 帧率：30 FPS，无音频

其他特征

• timestamp: float32
• frame_index: int64
• episode_index: int64
• index: int64
• task_index: int64

数据存储结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

bibtex @misc{xense-taccap-lerobot, author = {XenseRobotics Team}, title = {LeRobot-Xense: LeRobot with Xense Tactile Robotics Support}, howpublished = {url{https://github.com/Vertax42/xense-taccap-lerobot}}, year = {2026} }

搜集汇总

数据集介绍

构建方式

该数据集源自TACCoAP项目，聚焦于食品包装袋的排列与整理任务，旨在为具身智能体提供精细操作训练样本。构建过程采用多模态数据采集方式，同步记录机械臂执行任务时的视觉观测、关节角度及力觉反馈，并辅以人工标注的任务阶段标签与成功/失败判定，形成端到端的示范数据集。样本覆盖多种包装袋材质、尺寸及排列构型，确保数据在状态空间与动作空间上的充分覆盖。

特点

数据集突出特点在于其任务导向性与物理交互的真实性。每一条轨迹均包含连续的状态-动作对，且动作序列经过平滑处理以模拟自然操作，同时标注了关键接触事件。数据规模适度但多样性高，尤其强调对非刚性物体（如薄膜袋）的建模，为研究包装袋变形、抓取与规整提供了稀缺资源。此外，失败演示的纳入有助于学习鲁棒的恢复策略，提升模型在真实场景中的泛化能力。

使用方法

使用时，研究者可将数据集直接输入至模仿学习框架，如行为克隆或扩散策略，训练视觉-运动控制策略。建议将轨迹数据划分为训练集与验证集，以评估策略的泛化性能。数据格式兼容常见机器人学习工具库（如robosuite或RLBench），支持自定义奖励函数设计。由于包含了原始传感数据，亦可在仿真环境中重放轨迹进行策略预训练，随后迁移至真实机器人。

背景与挑战

背景概述

该数据集由TACCAP团队创建，聚焦于食品包装袋的排列识别任务，旨在推动自动化分拣与包装领域的发展。研究核心在于利用计算机视觉技术，精准识别并排列不同规格的食品包装袋，以提升生产线效率。该数据集的发布为工业视觉检测提供了标准化基准，对智能制造和物流自动化具有重要推动作用。

当前挑战

领域挑战在于食品包装袋材质多样、反光强烈且易形变，导致传统视觉算法难以稳定提取特征。构建过程中，需克服光照不均、袋面褶皱及图案干扰等复杂工况，同时标注大量高精度边界框成本高昂。此外，多尺寸包装袋的类别平衡与场景泛化能力也是数据集构建面临的显著难题。

常用场景

经典使用场景

该数据集聚焦于食品包装袋的自动化排列与整理任务，在智能制造与物流分拣领域具有典型应用价值。其经典使用场景涵盖视觉引导的抓取、定位与有序码放，研究者可借此训练深度学习模型，实现包装袋的精准识别与姿态估计，进而驱动机械臂或分拣系统完成高效作业。数据集中标注的类别与位置信息为实例分割、目标检测及关键点检测等任务提供了标准化的训练与评估基准，是工业视觉中少见的专项数据集。

实际应用

在实际生产环境中，该数据集可直接用于部署食品包装线的智能质检与分拣机器人，帮助实现包装袋的自动供料、整理与装箱，减少人工干预并提升产线节拍。在仓储物流环节，其支持自动化包裹排序和码垛系统，优化空间利用率。此外，数据可辅助开发增强现实（AR）维修指导或操作员培训系统，通过视觉识别包装袋状态，提供实时作业提示，从而提升操作安全性与效率。

衍生相关工作

基于此数据集，研究者已衍生出若干经典工作，包括针对柔性物体设计的位姿估计网络（如基于PointNet++的变体）、结合几何先验的抓取规划算法，以及模拟到现实的域随机化迁移框架。部分工作进一步构建了半自动标注工具，降低了数据成本，并探索了自监督学习在少样本条件下的应用。这些衍生成果不仅提升了包装袋分拣性能，也为其他非刚性物品如布料、线缆的自动化处理提供了方法论参考，形成了从数据到算法的良性研究生态。