caryx-viewer-assets

Caryx Data Viewer Assets 是一个用于交互式查看器的浏览器流式传输衍生数据集，包含 H.264 预览片段、遮罩视频和覆盖 JSON 文件。该数据集是 Everyday Manipulation 1 (EM1) 的降分辨率预览版本，完整数据集（CaryxAI/egocentric-manipulation）包含全分辨率流、度量深度、MANO 手部姿态、接触矩阵及每集侧车文件，打包为 LeRobot v3.0 格式。所有数据均采用 CC-BY-NC-SA-4.0 许可证，仅限研究使用。数据集由 Caryx AI 制作。Caryx Data Viewer Assets is a browser-streamed derivative dataset for interactive viewers, containing H.264 preview clips, masking videos, and overlay JSON files. It is a downscaled preview version of Everyday Manipulation 1 (EM1). The full dataset (CaryxAI/egocentric-manipulation) includes full-resolution streams, metric depth, MANO hand poses, contact matrices, and per-episode sidecar files, packaged in LeRobot v3.0 format. All data is licensed under CC-BY-NC-SA-4.0 for research use only. The dataset was produced by Caryx AI.

原始信息汇总

Caryx Data Viewer Assets 数据集详情

基本信息

• 数据集名称：Caryx Data Viewer Assets
• 许可证：CC-BY-NC-SA-4.0（仅限研究用途）
• 标签：自我中心视角（egocentric）、人类操作（human-manipulation）
• 发布方：Caryx AI

数据集内容

该数据集包含为交互式查看器（位于 caryx.ai/data）准备的浏览器流式传输衍生数据，具体包括：

• H.264预览视频片段
• 掩码视频
• 覆盖层JSON文件

重要说明

• 这些内容为降低分辨率的预览版本，并非完整数据集。
• 完整数据集（包含全分辨率视频流、度量深度、MANO手部姿态、接触矩阵及按轨迹封装的附属文件，打包为LeRobot v3.0格式）存放于 CaryxAI/egocentric-manipulation 数据集。

数据来源

本数据集与完整数据集均源自 Everyday Manipulation 1 (EM1)，使用相同的录像片段并遵循相同的许可证。

联系方式

• 邮箱：[e-mail]
• 官网：caryx.ai

搜集汇总

数据集介绍

构建方式

该数据集为交互式可视化平台caryx.ai/data提供了浏览器流式传输的衍生产物，包括H.264预览片段、掩膜视频及叠加注释JSON。这些内容源自Everyday Manipulation 1 (EM1)，以降低分辨率的预览形式呈现，旨在支持足不出户的在线浏览与初步探索。其完整分辨率流、度量深度、MANO手部姿态、接触矩阵及逐片段元数据等核心内容则封装于LeRobot v3.0格式的主数据集CaryxAI/egocentric-manipulation中。两者共享同一拍摄素材与许可协议（CC-BY-NC-SA-4.0），仅限研究用途，由Caryx AI制作并维护。

特点

该数据集的独特之处在于其专为在线交互式查看而设计，通过将高保真数据精简为轻量级预览格式，显著降低了数据分发与加载的带宽负担。其内容涵盖第一人称视角下的人类操作行为，包含精细的视觉掩膜与结构化的叠加信息，为理解手部与物体的交互提供了直观的辅助。尽管为降采样版本，但保留了关键时空特征，使研究者无需下载完整数据集即可快速评估数据质量与适用性，极大提升了数据探索的便捷性与效率。

使用方法

研究用户可直接通过浏览器访问caryx.ai/data，借助交互式查看器在线浏览这些预览资源，无需本地存储大量原始数据。对于需进行深度分析的研究，建议获取完整数据集CaryxAI/egocentric-manipulation，其提供了全分辨率流及丰富标注。使用时需遵守CC-BY-NC-SA-4.0许可，仅限非商业研究目的，并注明来源。数据集的轻量设计使其成为初步数据筛选、定性观察及教学演示的理想工具，而完整数据集则支撑定量实验与模型训练。

背景与挑战

背景概述

该数据集由Caryx AI于近期创建，旨在为日常操作（Everyday Manipulation 1, EM1）的大规模自我中心视频提供高效的浏览器端可视化支持。作为完整的CaryxAI/egocentric-manipulation数据集的衍生资源，它通过H.264预览片段、掩膜视频及叠加JSON，降低了全分辨率数据在交互式查看中的传输与渲染负担。其核心研究问题聚焦于人类操作行为的细粒度理解，涵盖手部姿态、接触状态及操作上下文，对具身智能、机器人学习与计算机视觉领域具有重要推动力，为远程数据浏览与快速定性分析提供了标准化接口。

当前挑战

该数据集的核心挑战在于平衡数据保真度与浏览器端实时交互的性能限制，需在降低分辨率的同时保留操作细节的视觉可辨性。构建过程中，需从全分辨率多模态流（包括度量深度、MANO手部姿态、接触矩阵）中提取并压缩为统一格式，且保证掩膜与叠加信息的时空对齐精度。此外，多视角自我中心视频的同步编码、跨设备播放兼容性、以及大规模数据索引的响应速度均构成技术壁垒，而CC-BY-NC-SA-4.0许可下的研究合规性管理也增加了数据分发的复杂度。

常用场景

经典使用场景

该数据集作为交互式可视化工具的前端资源，为具身智能与机器人操作领域的研究者提供了便捷的浏览器内数据浏览途径。通过H.264预览剪辑、掩膜视频及叠加JSON等降分辨率衍生内容，研究者无需下载完整数据即可快速评估数据质量、概览任务场景，尤其适用于数据探索、初步筛选与教学演示等经典场景，有效提升了大规模第一人称操作数据集的可用性与可访问性。

衍生相关工作

该数据集与其上游完整数据集CaryxAI/egocentric-manipulation共同构成了分层数据发布范式，其衍生工作已在多个方向展开。一方面，基于预览视频的快速动作识别与场景分类任务被用于验证轻量级模型的可行性；另一方面，配合LeRobot v3.0的封装格式，衍生出面向仿人机器人学习的标准训练流程。此外，掩膜视频与手势注释的结合催生了针对第一人称手物交互的基准测试，促进了多模态感知与操作规划交叉领域的研究进展。

数据集最近研究

最新研究方向

该数据集聚焦于日常操作（Everyday Manipulation）场景下的第一人称视角人类操作行为，为具身智能与机器人学习提供高保真预览资源。其最新研究方向在于将流式视频预览、掩码与叠加数据与LeRobot v3.0格式的全分辨率深度流、MANO手部姿态及接触矩阵相融合，构建多模态、多尺度的操作理解基准。这一进展顺应了机器人操作领域对大规模真实世界数据的需求，通过降低带宽消耗的浏览器端流式传输，促进跨地域研究者协作，同时保留完整元数据以支持复杂动作解析与技能泛化研究。其CC-BY-NC-SA许可及研究用途限定，凸显了在共享数据与保护知识产权间寻求平衡的学术伦理趋势，对推动具身智能从仿真到真实世界的迁移具有里程碑意义。