causal-gpt-rl-unity-datasets

Hugging Face2026-07-22 更新2026-07-23 收录

离线强化学习

多环境轨迹评估

数据链接：

https://huggingface.co/datasets/ccnets/causal-gpt-rl-unity-datasets 数据链接链接失效反馈

官方服务：

资源简介：

Causal GPT-RL Unity ML-Agents轨迹数据集是一个包含多个Unity ML-Agents环境离线轨迹的集合，以Minari标准格式封装。该数据集专为测试Causal GPT-RL算法而设计，同时涵盖连续和离散动作空间。数据集包含8个不同的Unity环境：Crawler（爬行者）、PushBlock（推箱子）、SoccerTwos（双人足球）、DungeonEscape（地牢逃脱）、3DBallHard（三维球体困难版）、Pyramids（金字塔迷宫）、Worm（蠕虫）和Walker（步行者）。每个环境提供三个校准的技能等级：expert（专家级，技能水平1.0）、medium（中级，约0.80）和simple（初级，约0.60），这些等级通过向原始策略注入不同程度的动作噪声生成。对于单智能体场景，噪声水平在每回合内从校准范围内独立采样；对于合作场景（如SoccerTwos和DungeonEscape），噪声在每场比赛或每组内共享。数据集总计包含21个子集，每个子集约100万次状态转移，观察空间和动作空间格式因环境而异，包括Box、Discrete、MultiDiscrete等类型，部分多智能体环境使用ego-centric的Dict包装结构。所有数据均基于ML-Agents release_23版本生成，使用Minari 0.5.3格式存储，适用于离线强化学习、行为克隆、策略评估等研究任务。

The Causal GPT-RL Unity ML-Agents Trajectory Dataset is a collection of offline trajectories from multiple Unity ML-Agents environments, packaged in the Minari standard format. It is specifically designed for testing Causal GPT-RL algorithms and covers both continuous and discrete action spaces. The dataset includes eight distinct Unity environments: Crawler, PushBlock, SoccerTwos, DungeonEscape, 3DBallHard, Pyramids, Worm, and Walker. Each environment offers three calibrated skill levels: expert (skill level 1.0), medium (approximately 0.80), and simple (approximately 0.60), generated by injecting varying degrees of action noise into the original policies. For single-agent scenarios, noise levels are independently sampled from a calibrated range within each episode; for cooperative scenarios (such as SoccerTwos and DungeonEscape), noise is shared per match or group. The dataset comprises a total of 21 subsets, each containing approximately 1 million state transitions. Observation and action space formats vary by environment, including types such as Box, Discrete, and MultiDiscrete, with some multi-agent environments using ego-centric Dict wrapper structures. All data is generated based on ML-Agents release_23 and stored in Minari 0.5.3 format, making it suitable for research tasks like offline reinforcement learning, behavioral cloning, and policy evaluation.

创建时间：

2026-07-18

原始信息汇总

数据集概览：Causal GPT-RL — Unity ML-Agents trajectories

该数据集收录了通过 Unity ML-Agents 录制的轨迹，并以 Minari 数据集格式打包，包含连续和离散动作空间，用于测试 Causal GPT-RL。数据集提供多个环境的“质量阶梯”：expert（专家级）、medium（中级）和 simple（初级）三个等级，其中低级技能等级通过在原始策略中注入动作噪声生成，技能等级以随机策略（0.0）和专家策略（1.0）为锚点进行校准。

数据集内容总表

数据集ID	片段数	转换数	观测空间	动作空间
unity/crawler/expert-v0	1,048	1,000,002	`Tuple(Box(126), Box(32))`	`Box(20, [-1, 1])`
unity/crawler/medium-v0	1,129	1,000,000	`Tuple(Box(126), Box(32))`	`Box(20, [-1, 1])`
unity/crawler/simple-v0	1,344	1,000,000	`Tuple(Box(126), Box(32))`	`Box(20, [-1, 1])`
unity/pushblock/expert-v0	52,801	1,000,000	`Tuple(Box(105), Box(105))`	`Discrete(7)`
unity/pushblock/medium-v0	2,450	1,000,000	`Tuple(Box(105), Box(105))`	`Discrete(7)`
unity/pushblock/simple-v0	1,783	1,000,000	`Tuple(Box(105), Box(105))`	`Discrete(7)`
unity/soccer-twos/expert-v0	14,588	1,000,816	ego `Dict` 包裹 `Tuple(Box(264), Box(72))`	ego `Dict` 包裹 `MultiDiscrete([3, 3, 3])`
unity/soccer-twos/medium-v0	13,040	1,001,776	ego `Dict` 包裹 `Tuple(Box(264), Box(72))`	ego `Dict` 包裹 `MultiDiscrete([3, 3, 3])`
unity/soccer-twos/simple-v0	12,860	1,003,048	ego `Dict` 包裹 `Tuple(Box(264), Box(72))`	ego `Dict` 包裹 `MultiDiscrete([3, 3, 3])`
unity/dungeon-escape/expert-v0	35,787	1,003,523	ego `Dict` 包裹 `Tuple(Box(10), Box(360), Box(1))`	ego `Dict` 包裹 `Discrete(7)`
unity/dungeon-escape/medium-v0	19,023	1,003,025	ego `Dict` 包裹 `Tuple(Box(10), Box(360), Box(1))`	ego `Dict` 包裹 `Discrete(7)`
unity/dungeon-escape/simple-v0	11,367	1,003,316	ego `Dict` 包裹 `Tuple(Box(10), Box(360), Box(1))`	ego `Dict` 包裹 `Discrete(7)`
unity/3dball-hard/expert-v0	1,009	1,000,008	`Tuple(Box(27), Box(18))`	`Box(2)`
unity/3dball-hard/medium-v0	1,250	1,000,008	`Tuple(Box(27), Box(18))`	`Box(2)`
unity/3dball-hard/simple-v0	1,655	1,000,008	`Tuple(Box(27), Box(18))`	`Box(2)`
unity/pyramids/expert-v0	5,348	1,000,000	`Tuple(Box(56), Box(56), Box(56), Box(4))`	`Discrete(5)`
unity/pyramids/medium-v0	1,858	1,000,000	`Tuple(Box(56), Box(56), Box(56), Box(4))`	`Discrete(5)`
unity/pyramids/simple-v0	1,399	1,000,000	`Tuple(Box(56), Box(56), Box(56), Box(4))`	`Discrete(5)`
unity/worm/expert-v0	1,000	1,000,000	`Box(64)`	`Box(9, [-1, 1])`
unity/worm/medium-v0	1,000	1,000,000	`Box(64)`	`Box(9, [-1, 1])`
unity/worm/simple-v0	1,000	1,000,000	`Box(64)`	`Box(9, [-1, 1])`
unity/walker/expert-v0	1,458	1,000,010	`Box(243)`	`Box(39, [-1, 1])`
unity/walker/medium-v0	1,712	1,000,000	`Box(243)`	`Box(39, [-1, 1])`
unity/walker/simple-v0	2,247	1,000,000	`Box(243)`	`Box(39, [-1, 1])`

数据集技术细节

ML-Agents 版本：所有环境、轨迹数据集和策略均基于 ML-Agents release_23。
存储格式：每个数据集存储在 <name>/<tier>/data/main_data.hdf5，附带 metadata.json，使用 minari_version 0.5.3。
PushBlock：使用股票 PushBlock.onnx 策略在模型移除版 Unity 构建中外部运行，为原始离散 PushBlock 环境。
SoccerTwos 和 DungeonEscape：采用显式自我智能体模式，每个物理智能体存储为一个自我中心片段，使用 observations["agents"]["agent_0"] 和 actions["agents"]["agent_0"]。
SoccerTwos：股票策略自我对弈数据集，包含 3,647 场完整四玩家比赛，每场比赛表示为四个链接的去中心化智能体片段，所有 14,588 个片段均正常终止，无截断。

质量阶梯详情

DungeonEscape 质量阶梯

等级	组成功率	epsilon 池	平均片段长度	近似归一化技能
expert-v0	0.9532	无噪声	28.04	1.00
medium-v0	0.7851	{0.42, 0.44, 0.46, 0.48}	52.73	~0.78
simple-v0	0.6247	{0.60, 0.65, 0.70, 0.75}	88.27	~0.56

unity/dungeon-escape/medium-v0：包含 6,341 个完整组，19,023 个终止片段，1,003,025 次转换，4,978 次组成功，1,363 次失败（成功率 0.7851）。
unity/dungeon-escape/simple-v0：包含 3,789 个完整组，11,367 个终止片段，1,003,316 次转换，2,367 次组成功，1,422 次失败（成功率 0.6247）。

Pyramids 质量阶梯

等级	近似归一化回报	epsilon 范围	平均回报	到达率	平均片段长度
expert-v0	1.00	--	1.795309	0.9906	186.99
medium-v0	~0.80	0.50–0.66	1.228100	0.8827	538.21
simple-v0	~0.58	0.62–0.74	0.618400	0.6662	714.80

单智能体连续控制质量阶梯

Crawler（动作空间 Box(20)；锚点：专家 2576.4899，随机 -0.88）

等级	近似归一化回报	noise_std 范围	平均回报	终止率	平均片段长度
expert-v0	1.00	--	2576.4899	0.077	954.20
medium-v0	~0.82	0.15–0.23	2113.0960	0.209	885.74
simple-v0	~0.60	0.21–0.32	1557.9818	0.460	744.05

Worm（动作空间 Box(9)；锚点：专家 1044.1063，随机 0.80）

等级	近似归一化回报	noise_std 范围	平均回报	平均片段长度
expert-v0	1.00	--	1044.1063	1000.00
medium-v0	~0.80	0.09–0.15	839.4910	1000.00
simple-v0	~0.60	0.15–0.22	632.4776	1000.00

Walker（动作空间 Box(39)；锚点：专家 1363.6454，随机 -0.49）

等级	近似归一化回报	noise_std 范围	平均回报	终止率	平均片段长度
expert-v0	1.00	--	1363.6454	0.512	685.88
medium-v0	~0.82	0.05–0.11	1122.0456	0.652	584.11
simple-v0	~0.61	0.09–0.15	835.2383	0.822	445.04

3DBallHard（动作空间 Box(2)；锚点：专家 99.1077，随机）：1,000,008 次转换，1,009 个片段，平均回报 99.107732，平均片段长度 991.0882。

许可证

该数据集使用 CC-BY-4.0 许可证。

搜集汇总

数据集介绍

构建方式

该数据集基于Unity ML-Agents框架，通过记录智能体与环境交互的轨迹构建而成。轨迹数据以Minari格式封装，覆盖连续与离散动作空间。数据集包含多个环境，每个环境提供专家级、中等和简单三个质量层级，通过向原始策略注入动作噪声合成低层级数据。噪声幅度并非固定常数，单智能体场景中每回合独立采样，多智能体场景中按团队每场比赛采样，使得每个层级的平均归一化技能水平精确落在目标值附近，同时回合间技能水平呈连续带状分布。

使用方法

数据集可通过HuggingFace的`snapshot_download`函数下载，并利用Minari库加载。加载时需指定数据集标识符（如`unity/soccer-twos/expert-v0`），即可获取`observation_space`、`action_space`及轨迹数据。对于多智能体场景，数据以字典形式组织，键为`agents`，其下包含各个智能体的观察与动作。用户可按需加载特定环境的特定层级，或通过`group_metadata.jsonl`和`match_metadata.jsonl`按比赛ID拆分数据，避免跨拆分时泄露智能体信息。

背景与挑战

背景概述

该数据集由ccnets团队于2023年创建，旨在为因果强化学习（Causal GPT-RL）研究提供标准化的基准测试平台。核心研究问题涉及如何通过因果推断增强强化学习模型在复杂环境中的决策可解释性与泛化能力，尤其在连续与离散动作空间并存的场景下。数据集基于Unity ML-Agents框架采集，涵盖7个多样化环境（如Crawler、PushBlock、SoccerTwos等），每个环境均提供专家、中等、简单三个技能层级，并通过精细化噪声注入实现技能梯度的连续分布。以Minari数据格式封装后，其高质量轨迹数据（总计超2000万条转换）为因果因果强化学习算法的评估提供了坚实支撑，对推动可解释人工智能与强化学习交叉领域的发展具有重要价值。

当前挑战

该数据集揭示并应对的核心挑战包括：首先，领域问题层面，因果强化学习需跨越传统强化学习在低数据效率与策略可解释性上的局限，而现有基准多聚焦单一动作空间，缺乏对混合空间（如SoccerTwos的多离散分支与Crawler的连续控制）的覆盖；其次，构建过程中面临两大技术难点：其一，多智能体环境（如SoccerTwos四玩家自对弈、DungeonEscape三智能体协作）中需精确记录独立轨迹并维护跨智能体关联（通过match_id），同时避免信息泄露；其二，技能层级校准需在噪声强度与策略性能间达到微妙平衡，如PushBlock稀疏奖励下的双峰分布特性要求噪声参数因环境而异，且需通过大量实验验证归一化技能值（如medium目标0.80）的统计可靠性。

常用场景

经典使用场景

在强化学习与因果推断交叉的前沿领域，causal-gpt-rl-unity-datasets 数据集为研究环境中的因果关系建模与决策序列分析提供了标准化基准。该数据集由基于 Unity ML-Agents 平台录制的多类轨迹组成，涵盖连续与离散动作空间，并且针对每个环境精心设计了专家级、中等和简单三级质量阶梯。研究者可以利用这些轨迹开展离线强化学习策略评估、因果图结构学习以及因果效应估计等经典任务，特别适用于验证 Causal GPT-RL 及其变体在模拟环境中的因果感知决策能力，为理解智能体行为背后的因果机制奠定了数据基础。

解决学术问题

该数据集核心解决了强化学习中数据分布偏移与技能层级缺失导致的因果推断退化问题。通过引入动作噪声注入方法，构建了从随机锚点到专家策略的连续技能梯度，使研究人员能够系统探究不同水平策略下的因果关系稳定性与泛化能力。它不仅填补了多智能体协同场景与单智能体连续控制场景中高质量因果-强化学习基准数据的空白，还揭示了噪声鲁棒性对因果效应估计精度的影响机制。这些贡献推动了强化学习中因果推理的实证研究，为构建更可靠、可解释的智能决策系统提供了理论支撑与方法论指导。

实际应用

在实际应用层面，该数据集为游戏人工智能、机器人控制与自主导航等领域提供了可直接复用的训练与评估资源。例如，在机器人运动控制中，研究者利用 Crawler、Walker 等连续控制环境的数据质量阶梯，训练具备因果推理能力的策略以适应不同程度的运动扰动；在多人游戏 AI 中，SoccerTwos 和 DungeonEscape 的多智能体协作轨迹支持开发团队级别的因果推断模型，优化战术配合。此外，Minari 标准封装使得这些轨迹能够无缝集成到现有的离线强化学习管线中，降低从仿真环境到实际部署的迁移门槛。

数据集最近研究