apple, potato, cucumber

链接的数据文件夹包含我们论文中涉及的三种产品类型的数据集：苹果、土豆和黄瓜。数据集被分割成多个部分文件，每个文件最大为20G。需要先将部分文件合并回单个文件，然后使用提供的命令进行提取。

The linked data folder contains the datasets for the three product types involved in our paper: apples, potatoes, and cucumbers. The datasets are split into multiple part files, with each file having a maximum size of 20 GB. It is required to first merge these part files back into a single complete file, and then use the provided commands to extract the datasets.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference
• 数据集地址：https://www.dropbox.com/scl/fo/3kcq7kreifmpgbdsjma1s/APeYN8EOhRYcSvAO0w0ajl4?rlkey=pxgmd6ur81v6wj2urdod3ld82&dl=0
• 数据集内容：包含三种农产品（苹果、土豆、黄瓜）的精细操作（削皮）演示数据。

数据集构成

• 数据集按农产品类型分为三个独立部分：
  • apple
  • potato
  • cucumber
• 每个数据集文件被分割为多个分卷文件，每个分卷最大为20G。

数据获取与处理

• 提供下载和合并数据集的脚本 download_dataset.sh。

• 数据合并与提取命令示例： bash mkdir apple cat apple.tar.part-* | tar -xf - -C apple

  mkdir potato cat potato.tar.part-* | tar -xf - -C potato

  mkdir cucumber cat cucumber.tar.part-* | tar -xf - -C cucumber

数据收集背景

• 数据通过遥操作Kinova Gen3机械臂收集。
• 支持多种遥操作模式：
  • SpaceMouse
  • 键盘
  • 基于启发式规划器
• 收集数据时可启用实时分割（SAM2）。
• 数据收集命令示例： bash python main.py --save --output-dir ./demos --eef

关联研究

• 该数据集支持基于人类偏好对齐的精细操作策略研究。
• 用于训练基础策略（如Diffusion Policy）。
• 计划用于从人类偏好中学习奖励模型，并用于微调策略。

搜集汇总

数据集介绍

构建方式

在机器人精细操作领域，数据集的构建往往依赖于高保真的物理交互与多模态感知。该数据集通过配备力-力矩传感器与腕部摄像头的Kinova Gen3机械臂，结合SpaceMouse遥操作技术，采集了苹果、土豆和黄瓜三种果蔬的剥皮演示数据。操作过程中，系统同步记录末端执行器的位姿、力学反馈及视觉信息，并借助实时分割算法对目标物体进行语义标注，从而构建出涵盖动作序列与多感官反馈的示范轨迹。

特点

该数据集聚焦于精细操作任务，其核心特点在于融合了多模态感知与人类偏好对齐。数据集不仅包含高精度的机械臂运动轨迹与力学数据，还整合了双腕部摄像头捕获的同步视觉流，并通过实时实例分割提供了物体层面的语义信息。此外，数据采集过程支持多种控制模式，包括基于阻抗控制的遥操作与启发式规划，确保了操作策略的多样性与真实性，为模仿学习与奖励建模提供了丰富的交互样本。

使用方法

为使用该数据集，研究者需首先从提供的分卷文件中通过命令行工具将其合并并解压至对应目录。数据可直接用于训练基于扩散策略的基政策模型，具体需参照论文中的实现细节对网络架构进行适配。在部署阶段，用户可通过指定检查点路径来加载训练好的策略，并在真实或模拟环境中进行轨迹回放或实时控制。数据集同时为未来基于人类偏好的奖励模型学习与策略微调预留了接口，支持端到端的精细操作策略开发与评估。

背景与挑战

背景概述

在机器人精细操作领域，如何使机械臂执行复杂、灵巧的任务一直是研究难点。2026年，由Toru Lin、Shuying Deng、Zhao-Heng Yin等研究人员在加州大学伯克利分校团队主导下，创建了名为“apple, potato, cucumber”的数据集。该数据集专注于解决使用刀具进行精细化削皮操作的问题，旨在通过多模态演示数据，推动机器人学习符合人类偏好的操作策略。其核心研究问题在于如何将人类对操作质量的主观评价转化为可学习的奖励模型，从而提升策略在真实环境中的泛化能力与适应性，对机器人模仿学习与强化学习的交叉领域具有重要影响力。

当前挑战

该数据集致力于解决机器人精细操作中刀具削皮这一具体任务的挑战，其核心在于如何准确捕捉并量化人类对操作过程与结果的主观偏好，例如削皮的完整性、效率与安全性，并将这些抽象偏好转化为可优化的奖励信号。在构建过程中，研究团队面临多方面的技术难题：需集成力觉传感器与视觉系统以实现多模态数据同步采集；设计实时分割算法以处理动态场景下的物体识别；同时，确保通过遥操作收集的演示数据兼具高质量与多样性，以支撑后续策略训练与奖励建模的鲁棒性。

常用场景

经典使用场景

在机器人精细操作领域，该数据集为研究刀具剥皮任务提供了关键的多模态演示数据。通过整合视觉、力觉与运动轨迹信息，它支持训练基于扩散策略的机器人策略，使机械臂能够模仿人类操作者使用刀具对苹果、土豆和黄瓜等农产品进行精细剥皮。这一场景典型地体现了机器人学习从人类示范中获取复杂技能的能力，尤其在需要高精度和适应性操作的环境中。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在模仿学习与策略优化领域。例如，基于扩散策略的基政策训练被广泛应用于从演示数据中提取动作模式；同时，结合人类偏好的奖励模型学习进一步提升了策略的泛化能力。这些工作不仅深化了对机器人精细操作的理解，也为后续研究如多任务学习和实时适应性控制奠定了方法论基础。

数据集最近研究

最新研究方向

在机器人精细操作领域，该数据集聚焦于苹果、土豆和黄瓜的削皮任务，为基于人类偏好的模仿学习提供了关键的多模态演示数据。前沿研究正探索如何将扩散策略与从人类偏好中学习的奖励模型相结合，以实现更符合人类直觉的机器人操作对齐。这一方向不仅推动了机器人灵巧操作在复杂接触任务中的发展，也为家庭服务机器人在日常物品处理上的应用奠定了技术基础，具有重要的实践意义。