egostation-smartphone-lerobot-sample

EgoStation Smartphone的一个可玩样本。包含五个简短的第一人称日常家务工作视频片段，每个任务一个片段，以LeRobot v2.1格式布局，可直接在数据集可视化工具中播放。每个片段时长20秒，共600帧，帧率30fps。视频图像为640×360分辨率（从1920×1080缩小）。每帧状态数据包含126个浮点数：21个MediaPipe手部关键点（x, y, z坐标）乘以两只手。动作是下一帧的状态。该数据集是预览版，非完整语料库。手部关键点由MediaPipe Hands v0.10自动生成，非人工标注。许可证CC BY-NC 4.0（非商业用途）。标签包括：LeRobot、自我中心、第一人称、智能手机、手部姿势、家务、操作。A playable sample of EgoStation Smartphone. It contains five short first-person video clips of daily household chores, with one clip per task, formatted in LeRobot v2.1 format and directly playable in the dataset visualization tool. Each clip lasts 20 seconds, totaling 600 frames at 30 frames per second (fps). The video resolution is 640×360, downscaled from 1920×1080. Each frame's state data consists of 126 floating-point values: 21 MediaPipe hand keypoints with x, y, z coordinates for each of the two hands, and the action corresponds to the state of the subsequent frame. This is a preview dataset and not a complete corpus. The hand keypoints are automatically generated via MediaPipe Hands v0.10 without manual annotation. It is licensed under CC BY-NC 4.0 for non-commercial use only. Tags include: LeRobot, egocentric, first-person, smartphone, hand pose, household chores, manipulation.

原始信息汇总

EgoStation Smartphone — 可播放样本数据集

数据集概述

该数据集是 EgoStation Smartphone 原始数据集的预览样本，包含5段第一人称视角的日常家务短视频，采用 LeRobot v2.1 格式组织，可直接在数据集可视化工具中浏览。原始数据集的样本以松散的 video.mp4 和 pose_keypoints.json 文件发布，无法被查看器打开，本数据集将相同内容重新排列以便播放。

内容详情

项目	说明
片段数	5段（洗碗、烹饪、折叠衣物、整理鞋子、擦拭表面）
每段时长	20秒，共600帧，30帧/秒
视频	observation.images.head，分辨率640×360（从1920×1080缩小）
状态数据	每帧126个浮点数：21个MediaPipe手部关键点 × (x, y, z) × 2只手

数据特点

• 状态归一化：observation.state 已根据原始分辨率归一化到0–1范围，便于跨片段比较
• 缺失处理：未检测到手部的帧被置零，各片段手部检测率在90%–99%之间
• 动作定义：action 为下一帧的状态——由于无机器人参与，模仿目标是手部下一步的位置

数据来源

• 每个片段取自通过 Zen-O 应用贡献的15–17分钟完整录制的前20秒
• 完整录制、深度覆盖层及完整关键点轨迹均存储于原始数据集 zeno-labs/egostation-smartphone-raw-v1
• 手部关键点由 MediaPipe Hands v0.10 自动生成，非人工标注

许可信息

• 采用 CC BY-NC 4.0 非商业许可
• 如需完整数据集或商业授权，请联系 [e-mail]