HABIT (Human-Aware Behavior and Interaction Training dataset)

HABIT数据集是由KAIST研究团队创建的大规模机器人演示数据集，专门针对人类在场环境设计，旨在促进具身智能中的人机交互研究。该数据集包含10,563个演示片段，总计164小时的双臂操作数据，覆盖60个任务，数据来源于多视角同步摄像头采集的视觉观察与动作序列。数据收集过程通过精心设计的任务工作流和反应式交互协议，系统化地诱发了让步避让、时空同步和手势理解等人类感知行为。该数据集主要应用于训练具有社会兼容性的机器人策略，解决传统人类缺席数据无法编码人机协调行为的关键局限，为部署到真实共享工作空间的机器人提供安全可靠的行为基础。The HABIT dataset is a large-scale robotic demonstration dataset created by the KAIST research team, specifically designed for human-present environments, aiming to advance human-robot interaction (HRI) research in embodied intelligence. It contains 10,563 demonstration segments, totaling 164 hours of dual-arm manipulation data covering 60 distinct tasks. The data is collected via synchronized multi-view camera recordings of visual observations and action sequences. During the data collection process, through meticulously designed task workflows and reactive interaction protocols, human perceptual behaviors such as concession and avoidance, spatiotemporal synchronization, and gesture understanding are systematically elicited. This dataset is primarily applied to train socially competent robotic policies, addressing the critical limitation that traditional human-absent data cannot encode human-robot coordination behaviors, providing a safe and reliable behavioral foundation for robots deployed in real shared workspaces.

搜集汇总

数据集介绍

构建方式

HABIT数据集通过双人协作遥操作的方式构建，在每一段演示中，一名人类操作员与一台双臂Franka Research 3机器人共享工作空间。数据集收集过程围绕三种人机交互角色设计：Collaborator（协作）、Coworker（共事）和Supervisor（监督），每种角色包含20个任务，共计60个任务。为保障演示的复现性与学习性，研究者引入了“任务工作流”概念，即以有向图的形式明确人和机器人的子任务顺序，并要求操作员基于对合作伙伴行为的实时观察来执行动作，禁止任何未在传感器记录中体现的协调信号。此外，通过刻意变化人类操作员的动作速度、等待时间以及服装颜色等条件，数据集进一步增强了所采集行为的多样性与泛化能力。

使用方法

HABIT数据集可用于微调视觉-语言-动作（VLA）模型，以提升机器人在人类共处环境中的任务执行能力。使用者可从Hugging Face Datasets等平台获取数据集，其中包含五路同步RGB视频流（三路机器人视角、两路人类视角）、机器人关节轨迹与夹爪状态等数据。研究者可根据实际需求选择输入视角，例如仅使用机器人侧三路相机以提高计算效率。数据集提供了60个任务的工作流定义、子任务标注及详细的评估协议，支持在Collaborator、Coworker和Supervisor三类角色上进行标准化评测。此外，HABIT还可用于模型的中期训练，以提升其在新的交互任务上的样本效率与泛化能力。

背景与挑战

背景概述

在机器人操作领域，大规模示范数据集虽驱动了通用策略的显著进展，却普遍在无人类场景下采集，使得训练出的策略仅能孤立执行任务，难以展现人类意识行为。为弥合这一鸿沟，由韩国科学技术院（KAIST）的Jaehwi Song、Suchae Jeong等研究人员于2026年提出的HABIT（Human-Aware Behavior and Interaction Training dataset），作为首个面向人类在场环境的大规模机器人示范数据集，系统性地将人类存在确立为数据多样性的新维度。该数据集涵盖超10,000条示范与160小时的双臂操作数据，横跨60项任务，并创新性地按照角色协作模式（Collaborator、Coworker、Supervisor）组织，旨在为机器人提供在共享空间中与人类协调、避让及响应手势的交互能力，为构建真正安全且具备社交兼容性的机器人基础模型奠定数据基石。

当前挑战

HABIT所应对的核心挑战源自现有机器人数据集在人类缺席场景下的根本局限。具体而言，首先，领域问题层面，传统的机器人策略训练依赖于仅含机器人的示范，无法学习与人类共存的动态交互行为，如协作中的时空同步、并行工作中的主动避让及监督任务中的手势理解，这些人类意识行为在数据层面即缺乏示范基础。其次，数据集构建过程中面临独特挑战：如何设计包含人类与机器人细分步骤的工作流以保持示范一致性，如何通过反应式交互协议确保机器人动作真正基于视觉观察而非预先记忆，以及如何通过引入速度变化、等待时间变化、操作者多样性与衣物颜色等变量来激发特定交互行为并防止过拟合——这些精心的协议设计使HABIT能够捕捉到传统机器人数据无法涵盖的可学习交互信号。

常用场景

经典使用场景

在机器人学习领域，HABIT数据集最经典的使用场景是针对人机共存环境下的机器人操作策略训练。传统机器人数据集通常在无人类参与的场景中采集，由此训练出的策略难以在人类共享空间中展现出协调、安全的行为。HABIT通过精心设计的任务流程，涵盖了协作、共事与监督三类典型的人机交互角色，使研究者能够在包含真实人类伙伴的演示中训练视觉-语言-动作模型，进而习得时空同步、主动避让与手势理解等关键的人机交互技能。

解决学术问题

HABIT数据集系统性地解决了现有大规模机器人演示数据中缺乏人类在场信号的根本性学术难题。以往数据集采集于无人的孤立环境，导致模型无法学习到对人安全优先的避让行为、对伙伴动作节奏的时序适应以及对手势指令的视觉锚定。HABIT通过引入人类存在这一新的数据多样性维度，使训练后的策略在协作任务中实现精细化时空同步，在共事任务中展现主动退让与碰撞规避，在监督任务中具备手势跟随能力，从而填补了从任务执行到人机共融的认知鸿沟。

实际应用

在实际应用层面，HABIT数据集赋能机器人系统在家庭、工厂等人类日常活动的真实工作空间中安全、自然地执行操作任务。训练后的机器人能够在餐厅场景中根据人类手势精准递送食品，在仓储场景中与同事并行分拣物品并主动避让，在清洁场景中通过与人类递接工具完成协同打扫。这些能力直接提升了机器人在服务、制造与物流等产业中部署的可靠性与用户接受度，为实现真正意义上的人机共融奠定了数据基础。

数据集最近研究

最新研究方向

HABIT数据集聚焦于人机共融环境下的机器人操作学习，开创性地将人类存在作为数据多样性的新维度。其前沿研究方向涵盖三大交互角色：协作任务中的人机时空同步、共存任务中的主动避让与碰撞预防、监督任务中的手势指令理解与跟随。通过引入反应式交互协议、行为诱发机制及多样化采集条件，该数据集使视觉-语言-动作模型习得传统无人的机器人数据无法编码的社会化行为。实验表明，基于HABIT的微调显著提升了任务成功率，尤其在需要角色特定协调的场景中优势突出，同时展现了对人类服装、体型等分布偏移的鲁棒泛化能力。该工作标志着机器人基础模型从单纯能力驱动迈向真正安全与社会兼容的关键一步。

相关研究论文

• HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation

  KAIST · 2026年