OpenNeoData

OpenNeoData是一个大规模多模态数据集，包含超过5,000小时的同步视觉和触觉演示，涵盖六个实体、250多个任务和200多个技能，用于开放研究。OpenNeoData is a large-scale multimodal dataset comprising over 5,000 hours of synchronized visual and tactile demonstrations, covering six entities, more than 250 tasks and over 200 skills, for open research.

原始信息汇总

𝒩₀-Foundation 数据集详情

数据集概述

𝒩₀-Foundation（读作 Neo-Foundation）是一个以触觉为中心的具身操作数据集，涵盖基础设施、数据、表征和评估四个维度。核心数据集为 NeoData，其开源子集为 OpenNeoData。

数据集规模

• 总时长：超过 30,000小时 的同步视觉与触觉演示
• 多模态数据：覆盖 六种具身形态、450个任务、140万条片段
• 视觉数据：80亿RGB帧
• 触觉数据：100亿触觉帧
• 开源子集 OpenNeoData：5,000小时，覆盖 六种具身形态、250+任务、200+技能

数据构成

• 采集方式：真实机器人遥操作与手持设备 𝒩₀-TacUMI 演示混合采集
• 触觉基础设施：基于视觉的耐用触觉传感器 𝒩₀-TacUMI，集成通用操作界面，支持无机器人数据采集
• 同步系统：覆盖多具身遥操作和手持演示的视觉–触觉同步数据采集系统
• 任务层次：按四层任务层级进行标注

触觉表征（NeoForce）

• 统一表征：将每个触觉观测描述为感应表面上的密集三轴力场，捕捉剪切力和压力，具有硬件无关性
• 模型：NeoForce 是一种视觉-触觉模型，从力场中学习可迁移的、时序结构的触觉特征，用于下游具身策略
• 训练方式：联合力场重建和潜在预测进行监督

评估套件

NeoReal（真实世界）

• 10个接触密集型任务，涵盖：可变形物体塑形、力引导配合、精细抓取、持续表面接触、线缆布线、堆叠、插入、双臂折叠
• 9个基线方法
• 每个任务提供标准化的初始状态分布、重置协议和成功标准

NeoSim（仿真环境）

• 12个单臂和双臂任务，渲染每接触点的三轴力场，与统一表征格式一致
• 7个基线方法

关键资源链接

• 项目主页：http://research.neoteai.com/n0-foundation
• 论文PDF：https://research.neoteai.com/assets/n0-foundation-paper.pdf
• HuggingFace数据集：https://huggingface.co/datasets/NeoteAIEmbodied/OpenNeoData
• ModelScope数据集：https://modelscope.cn/datasets/NeoteAI/OpenNeoData

许可协议

CC BY-NC-SA 4.0

路线图

阶段	内容	状态
数据集	OpenNeoData（5,000小时开源子集）、加载器与文档	✅ 已发布
NeoForce	统一触觉表征，含模型权重和代码	🚧 预计 2026年7月31日 前完成

搜集汇总

数据集介绍

构建方式

OpenNeoData的构建依托于大规模多模态数据采集范式，融合了真实机器人遥操作与手持式𝒩₀-TacUMI设备两种途径。数据来源涵盖六种具身形态，包括桌面机械臂、双臂机器人及便携式采集终端，并通过同步视觉-触觉采集系统记录每一段演示中的RGB图像与密集力场信号。采集完成后，数据经过分阶段质量筛选与四层任务层级标注，最终形成包含5，000小时、超过250个任务和200种技能的开源子集，为触觉驱动的操作研究提供了结构化的训练素材。

使用方法

用户可通过HuggingFace和ModelScope平台直接访问OpenNeoData，利用官方提供的数据加载器快速载入同步的视觉帧与触觉力场序列。该数据集与NeoForce表征学习框架无缝衔接，研究者可基于统一的力场格式训练触觉感知模型，并借助NeoReal真实测评套件或NeoSim模拟环境对策略性能进行标准化评估。推荐使用Python与PyTorch等深度学习工具进行数据解析与模型开发，同时遵循CC-BY-NC-SA 4.0许可协议进行学术用途的分享与衍生。

背景与挑战

背景概述

触觉感知是机器人操作中不可或缺的感知通道，尤其在处理可变形物体、精密装配和力控交互等接触丰富型任务时，仅凭视觉信息难以捕捉接触状态、局部力场及早期滑移等关键信号。在此背景下，NeoteAI团队与复旦大学TEAI团队于2026年联合发布了𝒩₀-Foundation触觉智能框架及其核心数据集——NeoData。该数据集规模宏大，内含超过30,000小时的同步视觉-触觉演示数据，涵盖六种具身形态、450项任务和140万个回合，其开源子集OpenNeoData亦开放了5,000小时高质量数据。该数据集的核心科学问题在于：如何构建统一的触觉表征与大规模多模态基准，推动触觉驱动的具身操作从实验走向通用智能。

当前挑战

当前触觉智能研究面临多重挑战：首先，触觉硬件异构性强，不同传感器的信号格式各异，使得跨设备迁移学习的难度极大，亟需一种物理基底统一且硬件无关的表征形式；其次，大规模触觉数据的采集效率与成本高昂，传统机器人遥操作耗时费力，如何借助手持式采集装置（如𝒩₀-TacUMI）实现高效、多样的数据积累是构建过程中遇到的核心难题；最后，接触丰富型操作的评估标准尚未统一，真实环境与仿真环境之间的力场信息一致性难以保证，如何设计兼具泛化性与可复现性的标准化评测协议，仍是制约该领域发展的关键瓶颈。

常用场景

经典使用场景

在触觉智能与具身操控研究领域，OpenNeoData最经典的使用场景集中于多模态触觉表征学习与接触丰富型操作任务的策略学习。研究者可利用其涵盖六种本体平台、超过250项任务及200余种技能的同步视觉-触觉数据流，训练融合力场信息的策略网络。具体而言，该数据集支持从短时接触基元（如抓取、插入）到长程多步操作（如折叠、组装）的端到端学习，尤其适用于需要精细力控与滑移预判的变形物体操控场景。通过将其中的触觉观测统一编码为稠密三轴力场，学术工作得以在不依赖特定传感器硬件的前提下，实现力觉表征的跨平台迁移，推动触觉基元从实验室原型迈向标准化研究范式。

解决学术问题

OpenNeoData系统解决了触觉操控研究中长期存在的三大瓶颈：数据稀缺性、硬件碎片化与任务异构性。此前，触觉数据集要么规模有限且仅覆盖单一本体，要么缺失与视觉模态的精确同步，导致力觉表征模型难以泛化。该数据集以超过30,000小时的横跨多种机器人与手持设备的多模态示范填补了这一空白，为学术社区提供了首个可复现的大规模触觉基元基准。通过统一的力场表示NeoForce，研究得以从底层信号解耦硬件依赖，使触觉特征学习从传感器特定协议中解放出来。这一贡献显著降低了接触操控研究的入槛门槛，使学界能够将注意力从数据采集转向表征与策略创新，从而加速触觉智能从仿真到真实世界的闭环演进。

实际应用

在实际产业落地层面，OpenNeoData催生的触觉策略已在精密装配、柔性物体操作与长期表面交互等高价值场景展现潜力。例如，在电子元器件插接与线缆布放任务中，基于该数据集训练的力控策略可于毫秒级感知微小滑移并实时调整夹持力，将良品率提升至接近人工作业水平。在家庭服务机器人领域，数据集中涵盖的折叠衣物、擦拭台面等技能库为机器人赋予了感知织物纹理与接触表面硬度的能力，使其在非结构化环境中完成原本依赖视觉难以判别的精细操作。此外，该数据集提供的标准化评测流水线（NeoReal与NeoSim）可被企业直接用于验证触觉策略的鲁棒性与迁移效果，从而缩短从研发到部署的转化周期。

数据集最近研究

最新研究方向

OpenNeoData作为当前规模最大的触觉-视觉多模态操作数据集，正引领具身智能研究从纯视觉驱动向触觉-视觉联合推理的前沿范式转变。该数据集涵盖30,000小时同步触觉-视觉演示，横跨六种载体、450项任务与200余项技能，其突破性在于提出了硬件无关的三轴力场统一表征NeoForce，使跨传感器平台的触觉特征学习成为可能。这一创新直接响应了接触丰富型操作中力觉感知与滑动预测的核心挑战，为可变形物体操作、精密装配与柔性力控等前沿热点提供了规模化训练基础。结合NeoReal与NeoSim标准化评测套件，该工作正在重塑触觉智能的基准体系，推动具身系统从视觉主导迈向多模态融合的智能新纪元，其开源子集5,000小时数据更将加速全球触觉操作研究的协作进程。