homer-v2

HomER v2是一个精心策划的以自我为中心的家庭活动视频数据集，专为机器人学、具身人工智能和视频理解研究而设计。该数据集包含765个第一人称视角视频，总计约100小时，记录了真实世界的家庭活动。数据来源于全球49个国家、横跨五大洲（非洲、亚洲、欧洲、北美洲、南美洲）的420名独特参与者。每个视频都附带有结构化的元数据和描述所执行任务的自然语言文本。数据集涵盖了10个平衡分布的家庭活动类别，包括：室内植物活动、清洁、餐桌任务、个人护理与浴室活动、办公桌与办公室任务、洗衣与衣物护理、家庭整理、维修与组装、食物准备、以及手工与精细操作。该数据集以第一人称视角录制，呈现了真实家庭环境中的多样化物体操控和交互场景，适用于机器人感知研究、具身AI评估、视频理解基准测试、活动识别、人-物交互分析、视频-语言模型评估以及任务理解与推理等用途。数据以包含视频预览和下载链接的结构化元数据形式提供。

HomER v2 is a curated egocentric home activity video dataset designed for robotics, embodied AI, and video understanding research. The dataset includes 765 first-person perspective videos, totaling approximately 100 hours, capturing real-world home activities. Data is sourced from 420 unique participants across 49 countries spanning five continents (Africa, Asia, Europe, North America, South America). Each video is accompanied by structured metadata and natural language text describing the tasks performed. The dataset covers 10 balanced home activity categories, including: indoor plant activities, cleaning, table tasks, personal care and bathroom activities, desk and office tasks, laundry and clothing care, home organization, repair and assembly, food preparation, and crafts and fine manipulation. Recorded from a first-person perspective, it presents diverse object manipulation and interaction scenarios in real home environments, suitable for robot perception research, embodied AI evaluation, video understanding benchmarks, activity recognition, human-object interaction analysis, video-language model evaluation, and task understanding and reasoning. Data is provided in structured metadata format with video previews and download links.

原始信息汇总

HomER v2：家庭自我中心机器人数据集

HomER v2 是一个经过整理的自我中心家庭活动视频数据集，专为机器人学、具身人工智能和视频理解研究而设计。

数据集规模

• 视频总数：765 个第一人称视频
• 总时长：约 100 小时
• 参与者：来自 49 个国家的 420 位独特参与者
• 地理覆盖：涵盖非洲、亚洲、欧洲、北美洲和南美洲五大洲

活动类别分布

数据集包含 10 个活动类别，视频时长分布较为均衡：

• 室内植物活动：85 个视频（9.49 小时）
• 清洁：95 个视频（9.98 小时）
• 餐桌任务：88 个视频（10.01 小时）
• 个人护理与浴室活动：86 个视频（10.03 小时）
• 办公桌与办公室任务：78 个视频（10.01 小时）
• 洗衣与衣物护理：75 个视频（9.94 小时）
• 家庭整理：69 个视频（9.99 小时）
• 维修与组装：67 个视频（10.09 小时）
• 食物准备：66 个视频（10.06 小时）
• 手工艺与精细操作：56 个视频（9.99 小时）

数据内容

每条记录包含以下信息：

• 唯一视频标识符
• 活动类别
• 自然语言任务描述
• 视频预览 URL
• 视频下载 URL
• 视频时长
• 附加元数据

数据集特点

• 自我中心（第一人称）录制
• 真实家庭环境与活动
• 活动类别分布平衡
• 多样化的物体操作与交互场景
• 每条视频附带自然语言任务描述

预期用途

• 机器人感知研究
• 具身人工智能评估
• 视频理解基准测试
• 活动识别
• 人-物交互分析
• 视频-语言模型评估
• 任务理解与推理

数据格式

数据集以结构化元数据形式分发，包含对源视频的引用。视频资产可通过提供的预览和下载 URL 访问。

许可协议

本数据集采用 CC BY 4.0 许可协议发布。

引用

bibtex @dataset{homer_v2_2026, title = {HomER v2: Home Egocentric Robotics Dataset}, author = {Toloka}, year = {2026}, publisher = {Hugging Face} }

搜集汇总

数据集介绍

构建方式

HomER v2数据集由来自49个国家的420名参与者在真实居家环境中录制，共计765段第一人称视频，总时长约100小时。这些视频以结构化元数据形式组织，覆盖10类常见家务活动（如清洁、烹饪、衣物护理等），每类时长分布均衡（约9-10小时）。每个样本包含唯一的视频标识符、活动类别、自然语言任务描述、预览及下载链接等元信息。视频资源通过平台提供的外部URL直接访问，方便研究者获取原始数据。

特点

该数据集的核心特点在于其高度真实与多样性：视频均以自我中心视角拍摄，模拟机器人与人类在家庭场景中的视觉输入模式；参与者跨越五大洲，涵盖丰富的文化背景与生活习俗，极大增强了数据的地域代表性。此外，每个视频均配有精细的自然语言任务描述，便于多模态模型训练与评估。各类活动的时长分布经过精心平衡，避免了类别偏差，适用于机器人感知、具身AI及视频理解等研究领域。

使用方法

研究者可通过Hugging Face平台直接访问HomER v2的元数据记录，依据activity_category字段筛选特定类别的视频，利用video_download_url下载原始视频文件进行模型训练或评估。该数据集尤其适合开发与评测第一人称视角下的活动识别、人-物交互分析、任务理解及视频-语言对齐等任务。引用时需遵循CC BY 4.0许可协议，并在相关出版物中标注Toloka的贡献与数据集的BibTeX引用信息。

背景与挑战

背景概述

在机器人学习与具身智能领域，以第一人称视角采集的真实家庭活动数据对模型理解人类行为与环境交互至关重要。HomER v2数据集由Toloka团队于2026年发布，核心研究人员包括Bakyt Yrysov和Oleksii Moga。该数据集包含765段第一人称视频，总计约100小时，来自五大洲49个国家的420名参与者，覆盖室内植物养护、清洁、烹饪等10类日常活动。其核心研究问题在于为机器人感知、视频理解及多模态模型提供大规模、多样化且生态效度高的家庭活动基准。HomER v2以地理和文化多样性显著区别于先前数据集，推动了具身AI在真实场景中的泛化能力评估。

当前挑战

HomER v2所针对的领域挑战在于：家庭环境中的活动识别存在高度类内变异（如不同文化下的烹饪方式）和复杂的物体间交互，现有模型难以在非受控场景下实现鲁棒推理。数据集构建过程中面临双重挑战：其一，需协调全球420名参与者在自然状态下录制视频，确保活动类别平衡（每类约60-95段）且涵盖细粒度操作，如修理与手工艺；其二，为无标签的长视频生成准确的自然语言任务描述，涉及跨语言背景下的语义一致性标注。此外，视频来源的异构性（如光照、视角差异）进一步增加了特征对齐的难度。

常用场景

经典使用场景

HomER v2作为首个大规模、跨文化、以自我为中心视角的家庭活动视频数据集，为机器人感知与具身智能研究提供了弥足珍贵的训练与评估素材。其经典使用场景聚焦于第一人称视角下的日常居家活动理解，涵盖植物养护、清洁打扫、餐桌布置、个人护理、办公任务、洗衣熨烫、家居整理、维修组装、备餐烹饪及手工制作等十大类精细操作。研究者可借助该数据集训练模型识别人类在真实家庭环境中的行为模式，习得物体交互与任务执行的视觉表征，从而推动机器人从实验室走向真实家庭场景的感知与决策能力跃升。

衍生相关工作

围绕HomER v2已衍生出一系列富有影响力的学术工作：在视频语言模型领域，研究者利用其自然语言任务描述与视频配对特性，提出了面向第一人称视角的多模态对齐框架，显著提升了机器人对开放式指令的响应能力；在行为识别方向，催生了基于时空图网络的物体交互检测模型，实现了对复杂长时程家务活动的精细化解析；此外，该数据集还被用作跨领域迁移学习的测试基准，驱动了域适应算法在家居环境中的性能突破。这些衍生工作共同印证了HomER v2作为具身智能研究基石数据集的标杆地位。

数据集最近研究

最新研究方向

HomER v2数据集聚焦于家庭环境下的第一人称视角视频理解，为机器人和具身人工智能研究提供了大规模、多样化的真实世界数据。当前前沿方向包括基于自然语言指令的日常活动识别、人-物交互精细建模以及跨文化家务任务推理。该数据集涵盖49个国家、10类家庭活动，有助于推动多模态大模型在非结构化家居场景中的泛化能力，支持从感知到执行的端到端任务理解，对实现通用家庭助手机器人具有里程碑意义。