dreamlake-ceramics

该数据集是“Ceramics — DreamLake viz demo”项目的一部分，包含一个自我中心视角的架子安装任务录制，分为两个 episode。数据内容包括：一个 H.264 编码的视频文件（cam_ego.mp4，关键帧间隔为1秒）；手部关键点标注（COCO 格式，21个关节点）；子任务时间线标注（WebVTT 格式）。此外，数据集附带了 .dreamrc 配置文件，用于可视化展示，但该文件不影响数据集本身。该数据集适用于机器人操作、自我中心视觉理解、手部关键点检测、动作分割等任务的研究与演示。This dataset is part of the "Ceramics — DreamLake viz demo" project, containing an egocentric recording of a shelf installation task divided into two episodes. The data includes: an H.264 encoded video file (cam_ego.mp4, keyframe interval of 1 second); hand keypoint annotations (COCO format, 21 joints); subtask timeline annotations (WebVTT format). Additionally, the dataset includes a .dreamrc configuration file for visualization, which does not affect the dataset itself. This dataset is suitable for research and demonstration in robot manipulation, egocentric visual understanding, hand keypoint detection, and action segmentation.

原始信息汇总

数据集概述：Ceramics — DreamLake 可视化演示

该数据集包含一段自我中心视角（egocentric）的架子安装任务录影，共分为两个片段（episodes），并提供了多种标准格式的标注文件，用于可视化演示。

文件结构与内容

文件	格式	用途
cam_ego.mp4	H.264 视频（关键帧间隔 1 秒）	提供主视觉画面
annotations/hand_keypoints.json	COCO 关键点格式（21 个手部关节点）	在视频上叠加手部骨架
annotations/subtasks.vtt	WebVTT 字幕格式	展示时间线分块并生成字幕

可视化配置

根目录下的 .dreamrc 文件描述了可视化方式，并非 DreamLake 专属格式，删除该文件不会影响数据集内容。

版本修订说明

早期版本曾包含一个 3D 重建（scene.glb、物体姿态、MANO 手部网格），但这些数据来自另一段录制（尺子和玩具的采集画面），与当前架子安装视频不匹配，因此已被移除。

许可

数据集采用 CC-BY-4.0 许可协议。

搜集汇总

数据集介绍

构建方式

该数据集源自一次手摇陶轮拉坯过程的自我中心视角记录，拍摄内容为从泥团中拉制小碗的完整工序，并被切分为两个情节单元。数据采集遵循既定标注规范，视频以H.264编码、每秒关键帧存储，同时以COCO关键点格式标注双手21个关节，以WebVTT格式标记子任务时间区间。根目录下的.dreamrc文件仅用于可视化描述，并非专有数据格式，删除后不影响数据本体。构建过程中明确排除异源三维重建文件，确保所有标注与原始陶艺录像严格对应。

使用方法

使用者可通过加载cam_ego.mp4获取原始视频流，并利用annotations/hand_keypoints.json中的COCO关键点数据在视频上叠加手部骨架，实现动作分析或姿态估计。annotations/subtasks.vtt文件可直接用于视频播放器或编辑工具，生成子任务时间轴与字幕，辅助行为分割研究。根目录的.dreamrc仅服务于特定可视化环境，若无需该功能可安全移除。数据集适用于机器人学习、自我中心视觉及手部操作分析等任务，使用时应遵守CC-BY-4.0许可，并注意不要引入外部三维重建文件，以免破坏场景一致性。

背景与挑战

背景概述

在具身智能与第一人称视觉研究的交汇处，精细操作数据的稀缺长期制约着手部姿态估计与技能学习的发展。dreamlake-ceramics数据集于2026年前后由DreamLake团队构建，聚焦陶艺拉坯这一高难度手工任务，以第一人称视角记录了手轮上制作小碗的完整过程。该数据集提供COCO格式的21关节手部关键点标注与WebVTT子任务时序切分，旨在为手物交互建模、操作技能分割及第一人称视频理解提供真实场景下的基准资源，对机器人模仿学习与手部运动分析具有参考价值。

当前挑战

该数据集所面对的领域问题在于，第一人称视角下的手部关键点估计常受快速运动、遮挡与形变干扰，而陶艺拉坯中黏土持续形变与手部频繁接触进一步加剧了标注与建模难度；子任务切分亦需在连续动作流中捕捉细微的阶段性转换。构建过程中，原始子任务标注曾误植来自货架组装任务的描述，且两次被错误附加来自不同录制会话的三维重建文件，导致视觉化与 footage 不匹配，后经重新标注与移除才得以纠正，凸显了多模态数据溯源与标注一致性的严峻挑战。

常用场景

经典使用场景

在机器人学习与第一人称视觉理解领域，该数据集提供了一个陶艺拉坯过程的自我中心视角录制，包含两段连续情节，并附带COCO格式的21关节手部关键点与WebVTT子任务标注。其经典用法在于训练和评估手部姿态估计、动作分割以及以手-物交互为中心的模仿学习模型，研究者可利用视频与手部骨架的时空对齐，分析精细操作中的手部运动轨迹与子任务转换。

解决学术问题

该数据集回应了自我中心视频中手部精细操作数据稀缺、标注标准不一的问题，通过提供标准化格式的手部关键点与时间轴子任务标注，支撑手部姿态估计、动作分割和跨模态对齐等研究。其意义在于为第一人称视角下的手-物交互分析建立可复现的基准，推动机器人从演示中学习复杂操作技能，并减少因数据来源混淆而导致的错误评估。

实际应用

在实际应用中，该数据集可用于训练机器人模仿陶艺拉坯等精细手工作业，辅助开发灵巧操作策略；也可用于增强现实或虚拟教学系统中对手部动作的实时追踪与反馈。此外，视频与标注可用于人机交互研究，例如通过子任务分割实现操作步骤的自动识别与指导，提升协作机器人在非结构化环境中的适应能力。

数据集最近研究

最新研究方向

在具身智能与第一人称视觉理解交叉领域，dreamlake-ceramics数据集正推动以陶艺手工制作为场景的细粒度动作解析研究。该数据集仅包含单次陶轮拉坯录制的两段第一人称视频，并提供了手部关键点与子任务时间标注，其核心价值在于为长时程、高灵活度的双手操作提供真实标注。近期研究聚焦于利用此类第一人称数据探索手-物交互的时序建模与技能分割，尤其是在缺乏三维重建信息的条件下，如何通过二维关键点和视频时序信号实现动作理解。数据集README中明确拒绝跨会话三维重建文件，这一举措引发了对数据来源一致性与标注可靠性的方法论讨论，促使社区反思多模态数据融合中的伦理与规范。该数据集对机器人操作学习、技能迁移及人机协作具有基础性意义，其严格的数据边界维护为高质量第一人称数据集的构建树立了标杆。