d3d3shan/pi05-libero-plus-light-conditions-failures

该数据集是用于评估TensorAuto/tPi0.5-libero策略在LIBERO-plus基准测试的Light Conditions（光照条件）扰动子集上的失败摘要工件。它包含了在274个任务上评估时产生的失败案例，其中成功率为88.48%（1252次成功/1415次总评估回合），失败案例包括152个渲染成16面板网格视频的失败视频和11个缺失视频的失败记录。数据集提供视频文件、机器可读的失败记录（包括任务ID、回合ID、种子、难度级别、光照条件ID、奖励和源视频路径）、人类可读的图例、失败任务重新运行清单、评估块配置和完整本地队列日志，旨在快速视觉检查和详细分析失败情况。This dataset contains failure summary artifacts for evaluating the TensorAuto/tPi0.5-libero policy on the LIBERO-plus benchmarks Light Conditions perturbation subset. It includes failure cases from evaluations across 274 tasks, with a success rate of 88.48% (1252 successes out of 1415 total evaluated episodes), comprising 152 failure videos rendered into 16-panel grid videos and 11 failures missing videos. The dataset provides video files, machine-readable failure records (including task IDs, episode IDs, seeds, difficulty levels, light condition IDs, rewards, and source video paths), human-readable legends, failed-task rerun manifests, evaluation chunk configurations, and full local queue logs, designed for quick visual inspection and detailed failure analysis.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，环境光照条件的变化往往对策略模型的鲁棒性构成严峻挑战。该数据集基于LIBERO-plus基准测试中的光照条件扰动子集构建，专门用于评估TensorAuto/tPi0.5-libero策略模型的失败案例。通过OpenTau评估框架，在libero_10套件下对274个任务进行了共计1415个episode的测试，每个任务执行5个episode，每个episode包含520步，并采用种子范围为1000至1004的随机种子调度。最终从163个失败案例中提取出152个可用的失败网格视频，并辅以完整的元数据记录。

特点

该数据集的核心特征在于其聚焦于光照条件变化下的策略失败分析，为研究机器人视觉策略在非理想光照环境中的脆弱性提供了结构化素材。数据以16面板的失败网格视频形式呈现，便于快速视觉检视多个失败场景的共性pattern。配套的元数据文件包含机器可读的JSON格式详细记录，涵盖了任务ID、episode ID、种子、难度等级、光照条件ID及奖励值等信息，同时提供人类可读的Markdown版本用于索引映射。此外，还包含低难度失败任务的重新运行清单，支持迭代式失败分析。

使用方法

研究者可通过加载metadata中的JSON文件获取每条失败记录的详细结构化信息，包括对应的网格视频路径和任务标识，从而进行针对性的策略鲁棒性诊断。视觉分析方面，grid videos文件夹中的16面板视频支持快速比对不同光照条件下的失败模式。对于低难度失败任务，可利用light_conditions_low_l1_l3_failed_rerun_manifest.json清单组织重新实验，以验证改进后的模型表现。日志文件提供了完整的执行队列记录，便于复现评估流程或排查系统级问题。

背景与挑战

背景概述

随着机器人学习范式的演进，模仿学习与强化学习在复杂操作任务中取得了显著进展，然而光照条件的不确定性仍是制约策略泛化能力的关键瓶颈。在此背景下，pi05-libero-plus-light-conditions-failures数据集由TensorAuto团队创建，依托LIBERO-plus基准套件与OpenTau评估框架，系统性地记录了预训练模型tPi0.5-libero在光照扰动子集上的失败案例。该数据集包含1415次评估轨迹，跨越274个任务，聚焦于光照强度、角度与色温变异对机器人操控策略的影响，揭示了当前策略在环境扰动下的脆弱性，为后续的鲁棒性研究提供了宝贵的对照基准。

当前挑战

该数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，机器人策略在真实场景中常遭遇非均匀照明、动态阴影及反射干扰，然而现有模型多假设固定光照条件，跨域泛化能力薄弱，导致任务成功率骤降；该数据集基于光照扰动子集揭示了这一系统性失效模式。其二，在构建过程中，需对同一策略的1415次执行轨迹进行逐帧标注与多模态记录，包括同步渲染16面板失败视频、生成机器可读的元数据JSON文件，并处理部分视频缺失（11例）等数据不完整问题，构建流程高度依赖自动化脚本与严格的日志管理，以确保失败案例可追溯、可复现。

常用场景

经典使用场景

该数据集专为评估机器人视觉运动策略在光照变化下的鲁棒性而设计，经典使用场景是对预训练策略模型进行系统化的失败分析。研究者通过运行274个任务、每任务5个回合的标准化评测流程，共获得1415个评估回合，其中记录了163次失败案例。这些失败被组织为16面板的网格视频，便于快速视觉审查。该数据集的核心价值在于提供了一种可复现的基准，用于检测模型在面对光照扰动时的脆弱性，从而推动策略模型在复杂环境中的适应性改进。

解决学术问题

在机器人学习领域，策略模型在实验室理想条件下的优异表现往往掩盖其在真实世界光照变化下的退化问题。该数据集精准聚焦于光照扰动这一长期被忽视的关键因素，通过系统化记录失败模式，解决了如何量化模型对光照变化的敏感度这一学术难题。其意义在于首次为视觉运动策略的鲁棒性评测提供了细粒度的失败分类基准，使得研究者能够从具体的失败案例中提炼出光照条件（如亮度、对比度、阴影）对策略决策的影响机制，进而推动提出更通用的光照鲁棒训练方法。

衍生相关工作

该数据集的出现催生了一系列关于光照条件扰动下策略鲁棒性的衍生研究。基于其提供的失败网格视频和任务重跑清单，研究者可以构建光照敏感的奖励重标注方法，或开发针对失败案例的数据增强技术。此外，该数据集与LIBERO-plus基准的结合，使得后续工作可以扩展至光照与其他扰动（如相机角度、背景纹理）的交叉分析。代表性成果包括用于低难度失败任务的重跑优化方案，以及基于失败日志训练光照异常检测模型的方法，这些工作共同推动了机器人策略在非受控环境中的泛化能力提升。