Kino-Fail

Hugging Face2026-08-19 更新2026-08-20 收录

四足机器人故障归因

机器人导航故障诊断

数据链接：

https://huggingface.co/datasets/EurekaZang123/Kino-Fail 数据链接链接失效反馈

官方服务：

资源简介：

Kino-Fail是一个用于四足机器人导航中恢复相关故障归因的反事实基准数据集。该数据集包含11种物理和传感干预，191个RTX/PBR场景，11418个匹配组和22836个接受的物理单元。数据涵盖传感器观测（前五帧的RGB图像和21x19的本体感受窗口）、本体感受轨迹、标签以及实验元数据。数据组织包括scale、conflict、features、actions和metadata子集。每个外观视图对应其底层物理片段，并非独立样本，评估时应使用官方物理单元索引。该数据集适用于图像分类和表格分类任务，可用于机器人故障归因研究。

Kino-Fail is a counterfactual benchmark dataset for recovery-related fault attribution in quadruped robot navigation. It contains 11 physical and sensing interventions, 191 RTX/PBR scenes, 11,418 matched groups, and 22,836 accepted physical units. The data includes sensor observations (RGB images of the first five frames and 21x19 proprioceptive windows), proprioceptive trajectories, labels, and experimental metadata. The data is organized into subsets: scale, conflict, features, actions, and metadata. Each appearance view corresponds to its underlying physical segment and is not an independent sample; evaluation should use the official physical unit index. This dataset is suitable for image classification and table classification tasks, and can be used for robot fault attribution research.

创建时间：

2026-08-18

原始信息汇总

Kino-Fail 数据集概述

Kino-Fail 是一个针对四足机器人导航中恢复相关故障归因的反事实基准数据集，用于多模态感知与分类任务（图像分类和表格分类）。该数据集基于 Isaac Sim 仿真环境构建，包含物理与感知干预、场景渲染及匹配组等丰富内容。

核心规模

干预类型：包含 11 种物理学和感知干预
场景数量：191 个 RTX/PBR 场景
匹配组数量：11,418 组
物理单位：22,836 个被接受的物理单位

数据组织结构

目录	内容说明
`data/scale/<scene>/`	五帧前视相机 RGB 图像及 21×19 本体感觉窗口
`data/conflict/<scene>/`	T2 视觉决定性快照与 T3 本体感觉决定性快照
`features/`	全部 191 个冻结特征矩阵，用于基准测试
`actions/`	正式的分支恢复轨迹
`metadata/`	官方单位索引、场景注册表、审计记录与基准报告

注意：每个外观视图隶属于对应的物理片段，并非独立物理样本。评估时应使用 metadata/benchmark/physical_units.jsonl 中的官方物理单位索引。

数据范围与限制

包含内容：

生成的传感器观测数据
本体感觉轨迹
标签
实验元数据

排除内容：

启动器日志
崩溃材料
本地文件系统路径
模拟器缓存
.blend/.usd 源资产
已废弃的开发语料库

未重新分发：Unitree 和 Isaac Sim 相关的资产。

许可与元数据

许可证：MIT
任务类型：图像分类、表格分类
标签：机器人学、四足、多模态、故障归因、Isaac Sim
数据集规模：10K–100K 个样本

发布状态：正在上传中（Release status: uploading）。

搜集汇总

数据集介绍

构建方式

Kino-Fail数据集是在Isaac Sim仿真环境中，针对四足机器人导航任务构建的反事实基准，旨在探究恢复相关的失败归因问题。该数据集通过系统地施加11种物理与感知干预，在191个RTX/PBR场景中生成配对样本，共计包含11,418个匹配组与22,836个接受物理单元。每个数据单元均由五帧前视RGB图像与21×19的本体感知窗口构成，并辅以形式化的分支恢复轨迹。数据组织精细，涵盖视觉主导与本体感知主导的冲突快照，且所有观测均来源于底层物理过程，确保因果关联的严谨性。

特点

Kino-Fail的核心特征在于其反事实设计，能够解耦视觉与本体感知信息对失败归因的影响，为多模态感知在机器人导航中的鲁棒性评估提供独特视角。数据集规模适中，覆盖广泛场景与干预类型，支持细粒度的失败模式分析。其元数据体系完整，包含官方物理单元索引与审核记录，保障了实验的可重复性。此外，该数据集明确区分物理样本与感知视图，避免了独立样本假设带来的偏差，为后续研究提供了坚实的量化基础。

使用方法

使用Kino-Fail时，研究者应依据官方提供的物理单元索引（`metadata/benchmark/physical_units.jsonl`）进行数据划分与评估，以确保样本独立性与统计有效性。数据集支持图像分类与表格分类等任务，可直接用于训练或评估失败归因模型。配套的生成与评估代码已开源，便于复现基准结果或扩展新方法。由于该数据集仅包含合成观测与元数据，用户需注意结合仿真环境理解物理干预的语义，并遵循官方场景注册表以保持场景一致性。

背景与挑战

背景概述

Kino-Fail数据集诞生于四足机器人导航领域对失败归因（failure attribution）研究的迫切需求之中，由相关研究团队于近期构建并发布，旨在应对具身智能体在复杂物理环境中感知与决策失效的归因难题。该数据集以反事实（counterfactual）为核心理念，系统性地引入了11种物理与感知干预措施，覆盖191个基于RTX/PBR的仿真场景，通过11,418个配对组和22,836个物理单元，为训练和评估恢复导向的失败归因模型提供了大规模、多样化的基准。其发布标志着四足机器人导航研究从单纯的成功导向评估向深层次失败机理分析的范式转变，对提升机器人系统的鲁棒性和自主恢复能力具有里程碑意义，为相关领域的研究者提供了规范化的实验平台和评估标准。

当前挑战

Kino-Fail数据集所应对的领域挑战在于，四足机器人导航常遭遇由传感器噪声、动力学异常和场景突变导致的感知与决策失败，而传统数据集缺乏对失败原因的细粒度标注，使得归因模型难以学习和验证。该数据集的构建过程中亦面临多重困难：如何设计逼真的物理干预（如滑坡、碰撞）以生成有效的反事实样本，同时确保干预的因果明确性；如何高效利用Isaac Sim和RTX渲染生成大规模、多样化的视觉与本体感受数据，并保证数据一致性和物理真实性；以及如何建立严格的物理单元索引和审计机制，避免数据冗余和样本依赖性问题，从而确保基准评估的公平性和可复现性，这些挑战的克服构成了数据集的核心方法论贡献。

常用场景

经典使用场景

Kino-Fail数据集专为四足机器人导航中的故障归因研究而设计，其核心使用场景聚焦于多模态感知与决策的因果推断。该数据集通过精心构建的反事实实验框架，提供了视觉与本体感觉（proprioception）干预下的匹配样本组，使研究者能够在物理仿真环境中系统性地评估机器人面对感知冲突时的恢复策略选择。典型任务包括基于前视RGB图像与21x19本体感受窗口的故障分类、干预效果分析以及恢复轨迹预测，为多模态融合与鲁棒导航算法的开发提供了标准化的验证基准。

衍生相关工作

Kino-Fail衍生出一系列相关研究，主要围绕故障归因、多模态融合及恢复控制展开。其开创性的反事实框架启发了后续工作，如利用对比学习增强视觉-本体感觉特征解耦，或通过因果图模型优化恢复策略选择。在基准评测方面，研究者基于该数据集开发了针对四足导航的故障诊断器（如基于Transformer的时间序列分类器）和分层强化学习控制器。此外，其配套的KinoVLA代码库催生了将视觉-语言-动作模型应用于机器人故障场景的探索，推动了生成式模拟器与真实世界域适应的研究。这些工作共同构建了以可解释性、鲁棒性和安全性为核心的四足机器人导航研究生态。

数据集最近研究