toloka/homer-v2

HomER v2是一个精心策划的家庭活动第一人称视频数据集，专为机器人学、具身AI和视频理解研究设计。该数据集包含765个第一人称视频，约100小时的真实世界家庭活动，收集自49个国家（覆盖非洲、亚洲、欧洲、北美洲和南美洲）的420名独特参与者。每个视频都配有结构化元数据和自然语言任务描述，并分布在10个活动类别中，包括室内植物活动、清洁、餐桌任务、个人护理与浴室活动、办公桌与办公室任务、洗衣与服装护理、家居整理、维修与组装、食物准备以及手工艺与精细操作。数据集特点包括第一人称录制、平衡的类别分布、多样的对象操作和交互场景，适用于机器人感知、具身AI评估、视频理解基准测试等活动。数据以结构化元数据形式分发，视频资产通过提供的预览和下载URL访问。HomER v2 is a curated dataset of egocentric household activity videos designed for robotics, embodied AI, and video understanding research. The dataset contains 765 first-person videos representing approximately 100 hours of real-world household activities collected from 420 unique participants across 49 countries spanning Africa, Asia, Europe, North America, and South America. Each video is accompanied by structured metadata and a natural-language description of the performed task, distributed across 10 activity categories including Indoor Plant Activities, Cleaning, Dining Table Tasks, Personal Care & Bathroom Activities, Desk & Office Tasks, Laundry & Garment Care, Home Organization, Repair & Assembly, Food Preparation, and Crafts & Fine Manipulation. Key characteristics include egocentric recordings, balanced distribution across categories, diverse object manipulation and interaction scenarios, and suitability for robotics perception, embodied AI evaluation, video understanding benchmarks, and more. The dataset is distributed as structured metadata with references to source videos accessible via preview and download URLs.

搜集汇总

数据集介绍

构建方式

HomER v2数据集由Toloka团队精心构建，旨在为机器人学、具身人工智能及视频理解领域提供高质量的第一人称家庭活动视频资源。该数据集汇集了来自全球49个国家420位参与者的765段第一人称视角视频，总时长约100小时，覆盖非洲、亚洲、欧洲、北美洲和南美洲五大洲的真实家庭环境。每段视频均附带结构化元数据及自然语言任务描述，确保数据标注的丰富性与一致性。通过严格的类别平衡设计，数据集横跨室内植物护理、清洁、餐桌任务等10个活动类别，构建了多样且均衡的日常家庭行为库。

特点

HomER v2的核心特点在于其卓越的生态效度与多样性。所有视频均以第一人称视角记录，真实还原了人类在自然家庭环境中的物体操作与交互场景，为机器人感知和具身智能研究提供了接近真实世界的视觉输入。数据集在活动类别间实现了近乎均衡的时长分布，同时融入跨文化、跨地域的参与者样本，显著增强了数据的地理与人口统计学代表性。此外，每段视频配备的自然语言描述，使其不仅适用于活动识别与行为分析，还能支撑视频-语言多模态模型的训练与评估，展现出在通用智能研究中的广泛适用性。

使用方法

用户可通过Hugging Face平台便捷获取HomER v2数据集，其以结构化元数据形式发布，每条记录包含唯一视频标识符、活动类别、自然语言任务描述、视频预览与下载链接、时长及其他元信息。研究人员可根据任务需求，直接利用提供的URL下载原始视频资源，或基于元数据信息进行数据筛选与预处理。该数据集适合用于机器人感知原型验证、具身AI算法基准测试、视频理解模型性能评估，以及多模态大语言模型在家庭场景下的推理能力分析等研究。使用时需遵循CC BY 4.0许可协议，并按要求在出版物中引用Toloka团队。

背景与挑战

背景概述

在机器人与具身智能领域，获取大规模、多样化且真实反映家庭环境的自我中心视频数据一直是推动感知与交互研究的关键瓶颈。Toloka团队于2026年推出的HomER v2数据集，由Bakyt Yrysov和Oleksii Moga主导构建，旨在填补现有数据集在场景多样性与任务覆盖面上的空白。该数据集收录来自49个国家420名参与者的765段第一人称视频，累计时长约100小时，涵盖室内植物养护、清洁、备餐等10类日常家庭活动。其跨五大洲的地理分布与自然语言任务描述，为多模态模型、活动识别及人-物交互分析提供了前所未有的基准资源，显著推动了机器人自主操作与具身智能评估的发展。

当前挑战

HomER v2数据集当前面临的核心挑战在于：其一，所解决的领域问题源于现有自我中心视频数据集在文化差异（如不同地区的家务习惯）、环境光照、背景杂乱度及物体多样性上的局限性，导致模型泛化能力受限；其二，构建过程中需应对全球分布式数据采集的一致性控制，包括确保不同国家参与者对任务描述的准确性、视频拍摄视角的标准化，以及10个活动类别间时长与场景复杂度的平衡。此外，长视频中细粒度动作分割、物体遮挡下的交互推理，以及跨语言任务语义的对齐，仍是下游任务评估中亟待攻克的技术难题。

常用场景

经典使用场景

HomER v2数据集以其大规模、多样化的第一人称家庭活动视频为核心，成为机器人感知与具身智能研究中的经典基准。该数据集包含来自49个国家420名参与者的765段视频，覆盖10类日常家务活动，如清洁、烹饪、整理等，视频时长总计约100小时。研究者常利用其丰富的自然语言任务描述和结构化元数据，进行跨文化、跨场景的视觉-语言任务理解，例如基于视频的指令跟随、活动识别与细粒度人-物交互分析，为开发具有泛化能力的家庭服务机器人提供了标准化的训练与评测平台。

实际应用

在实际应用中，HomER v2数据集直接服务于家庭服务机器人的感知与决策系统。通过其视频-语言对齐的标注，机器人可学习从第一人称视角理解用户指令（如“将衬衫叠好放入抽屉”），并执行相应的物体抓取、放置与操作。此外，该数据对清洁、维修、精细手工艺等活动的覆盖，支持了扫地机器人、辅助穿衣装置、桌面整理助手等产品的行为规划模块开发。在智能家居领域，其跨国家、跨文化的样本有助于构建适应全球用户习惯的通用接口，降低机器人部署时的地域适配成本。

衍生相关工作

HomER v2数据集已衍生出一系列代表性研究工作。在具身智能领域，研究者基于其视频-语言对构建了任务条件化视频预测模型，用于动作规划；在视频理解方向，多模态大语言模型被微调以生成细粒度活动描述并评估时空推理能力。此外，该数据集促进了跨文化活动识别的元学习框架设计，并催生了结合第一人称视觉与语言指令的机器人控制策略。部分工作还利用其元数据探索了地理分布对活动模式的影响，为公平性研究提供了数据支撑。这些衍生工作共同拓展了家庭场景中智能体从观察到行动的完整链路。