RNGBench-Game-Trajectories
收藏资源简介：
RNGBench-Game-Trajectories数据集是RNGBench（重构性非马尔可夫游戏）评估框架的配套监督微调轨迹数据。该框架旨在测试多模态语言模型在记住-行动场景下的能力，即模型需要从历史记忆中重建当前观察所无法提供的隐藏状态，并据此在闭环环境中做出决策。数据集包含两种游戏环境：1) Matching Pairs（匹配对），一种静态的、分类隐藏状态游戏，模拟需要根据位置回忆卡片身份的记忆卡片匹配游戏；2) 3D Maze（3D迷宫），一种动态的、空间隐藏状态游戏，提供以自我为中心的第一人称视角，需要组合成地图以达到目标。对于每种游戏，数据集提供两种类型的多轮次智能体轨迹：Optimal（由基于规则的最优策略生成）和Roll（从强模型如Kimi-K2.5和Qwen3.5-397B收集的推演轨迹）。数据模态包括图像+文本组合以及纯文本版本。数据格式采用LLaMA-Factory的ShareGPT格式，每个轨迹样本包含交替的human和gpt对话回合、对应的图像路径列表以及描述游戏规则和输出格式的系统提示。该数据集适用于多模态语言模型的监督微调，特别是在需要记忆和历史信息推理的序列决策任务中。
RNGBench-Game-Trajectories dataset is the companion supervised fine-tuning trajectory dataset for the RNGBench (Reconstructive Non-Markovian Game) evaluation framework. This framework is designed to evaluate the capabilities of multimodal large language models in "remember-act" scenarios, where models must reconstruct hidden states unavailable from current observations via historical memory, then make decisions in a closed-loop environment based on these states. The dataset includes two types of game environments: 1) Matching Pairs, a static, categorical hidden-state game that simulates the memory card matching task where agents need to recall card identities based on their positions; 2) 3D Maze, a dynamic, spatial hidden-state game that provides an egocentric first-person perspective, requiring agents to construct mental maps to reach target goals. For each game, the dataset offers two categories of multi-turn AI agent trajectories: Optimal (generated by rule-based optimal policies) and Roll (inference trajectories collected from high-performing models such as Kimi-K2.5 and Qwen3.5-397B). The dataset supports two data modalities: image-text paired formats and plain text versions. It adopts the ShareGPT format from LLaMA-Factory, where each trajectory sample consists of alternating "human" and "gpt" dialogue turns, a corresponding list of image paths, and a system prompt that details the game rules and required output format. This dataset is well-suited for supervised fine-tuning of multimodal large language models, particularly for sequential decision-making tasks that demand memory retention and historical information reasoning.
数据集概述
- 名称: RNGBench-Game-Trajectories
- 许可协议: MIT
- 任务类别: 图像+文本到文本（image-text-to-text）
- 语言: 英语
- 标签: agent, trajectory, multimodal, game, sft, non-markov
- 关联资源:
- 论文: https://arxiv.org/abs/2606.19338
- 项目页面: https://internlm.github.io/RNGBench/
- 代码仓库: https://github.com/InternLM/RNGBench
数据集描述
该数据集是RNGBench评估框架的配套SFT（监督微调）轨迹数据。RNGBench是一个用于测试多模态语言模型在闭环环境中，能否从记忆中重构隐藏状态并据此行动（即“记忆-行动”设定，当前观察不足以决策，模型必须回忆相关历史）的评估框架。
数据内容
数据集涵盖RNGBench中的两个游戏的智能体轨迹：
- Matching Pairs (MP)：一种静态、分类隐藏状态游戏，即记忆卡片配对游戏，需要根据位置回忆卡片身份。
- 3D Maze：一种动态、空间隐藏状态游戏，需要将第一人称视角信息整合成地图来到达目标。
每个游戏提供两种类型的多轮智能体轨迹：
- Optimal：由基于规则的最优策略生成的轨迹。
- Roll：从强模型（Kimi-K2.5和Qwen3.5-397B）收集的 rollout 轨迹。
文件结构
| 文件名 | 游戏 | 类型 | 模态 |
|---|---|---|---|
data/MP_Optimal.jsonl |
Matching Pairs | Optimal | 图片 + 文字 |
data/MP_Roll.jsonl |
Matching Pairs | Roll | 图片 + 文字 |
data/MP_Roll_text.jsonl |
Matching Pairs | Roll | 仅文字 |
data/3D_Maze_Optimal.jsonl |
3D Maze | Optimal | 图片 + 文字 |
data/3D_Maze_Roll.jsonl |
3D Maze | Roll | 图片 + 文字 |
对应图片+文字子集的图片以压缩包形式存放在 images/ 目录下（MP_Optimal.zip, MP_Roll.zip, 3D_Maze_Optimal.zip, 3D_Maze_Roll.zip）。MP_Roll_text 是纯文本集，无图片。
数据格式
每个 data/*.jsonl 文件的一行是一条符合 LLaMA-Factory ShareGPT 格式的轨迹。JSON对象包含以下字段：
conversations: 交替的human/gpt对话轮次。每条轮次的value中的<image>占位符按顺序对应顶层images列表中的一个条目。images: 图片路径列表，格式为<subset>/<relative_path>，与对应images/<subset>.zip压缩包内的布局一致（每个压缩包的文件存储在顶层<subset>/文件夹下）。system: 系统提示词，包含游戏规则和输出格式。MP_Roll_text是纯文本集，没有images字段。
使用方式
- 下载仓库，将所有图片压缩包解压到同一目录。
- 使用 LLaMA-Factory 时，通过提供的
dataset_info.json注册子集（设置--dataset_dir/media_dir指向存放data/和解压后图片的目录），然后训练指定子集（如rngbench_mp_optimal,rngbench_3d_maze_optimal等）。
引用
bibtex @article{rngbench2026, title = {Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games}, author = {Ding, Shengyuan and Wei, Xilin and Fang, Xinyu and Duan, Haodong and Lin, Dahua and Wang, Jiaqi and Zang, Yuhang}, journal = {arXiv preprint arXiv:2606.19338}, year = {2026}, }
