mtma

该数据集来源于 Multi-Turn Moral Alignment 项目，旨在研究多轮交互中的道德对齐问题。数据集包含 MACHIAVELLI 环境的结构化 rollout 数据，具体包括：records/structure3/ 目录下有 20123 个起点，生成了 2.57M 个随机策略 episodes（按游戏、深度和行走种子网格划分），每个 episode 记录了动作、节点 ID、注释和派生奖励，但出于版权原因，不包含游戏文本（观察和选择文本）。此外，还提供了收集日志（records/logs/）和训练运行产物（runs/），包括每次运行的日志、指标和 rollout 转储。数据集可用于强化学习环境分析、道德对齐研究、策略评估等任务。This dataset originates from the Multi-Turn Moral Alignment project, aiming to study moral alignment in multi-turn interactions. It contains structured rollout data from the MACHIAVELLI environment, specifically: the records/structure3/ directory includes 20,123 starting points, generating 2.57M random policy episodes (gridded by game, depth, and walk seed). Each episode records actions, node IDs, annotations, and derived rewards, but does not include game text (observations and choice texts) due to copyright reasons. Additionally, collection logs (records/logs/) and training run artifacts (runs/) are provided, including logs, metrics, and rollout dumps for each run. The dataset can be used for reinforcement learning environment analysis, moral alignment research, policy evaluation, and other tasks.

原始信息汇总

数据集概述：mtma

该数据集是“多轮道德对齐（Multi-Turn Moral Alignment）”项目的运行产物（run artifacts），主要包含环境分析与强化学习训练相关的数据。

主要内容

数据集划分为三大类文件：

• records/structure3/：MACHIAVELLI 环境结构的回放数据（v3 版本）。包含 20,123 个起始点，以及覆盖“游戏 × 深度 × 行走种子”网格的 257 万条随机策略回合数据。具体布局、记录模式及数据提取方法详见对应子目录中的 README.md 文件。
• records/logs/：上述回放数据的收集日志。
• runs/：训练运行产物，包括每次运行的日志、指标和回放数据转储。

数据组织方式

• records/ 用于存放分析数据；
• runs/ 用于存放训练输出；
• 两者分开管理，互不混淆。

重要约束

数据集中不包含任何游戏文本。 MACHIAVELLI 的游戏脚本是 136 个商业 Choice of Games 标题的受版权保护内容。本数据集中的每条记录均已去除观察文本和选项文本，仅保留动作、节点 ID、标注信息及衍生奖励。该去除过程是无损的——在给定起始点和动作序列的情况下，环境是确定性的，可以完整重建原始过程。

搜集汇总

数据集介绍

构建方式

该数据集源于多轮道德对齐项目，主要基于MACHIAVELLI环境构建。其构建方式包括在环境结构滚动记录中，选取20,123个起始点，并针对游戏、深度和行走种子网格进行2.57M随机策略回合的生成。数据记录严格剥离了游戏文本，仅保留动作、节点标识、标注和派生奖励，确保了数据的可复现性与合规性。

使用方法

使用该数据集时，研究者应首先查阅records/structure3目录下的README文件，以了解记录布局、模式及数据提取方法。随后，可依据需求分析环境结构滚动记录或训练运行产物。数据集中不包含游戏文本，因此使用时需结合MACHIAVELLI环境的确定性，通过动作序列重建环境状态，以进行强化学习算法的评估与道德对齐研究。

背景与挑战

背景概述

该数据集源自多轮道德对齐项目，由研究团队于近期创建，旨在深入探索强化学习智能体在复杂叙事环境中的道德决策能力。其核心研究问题聚焦于如何通过环境结构分析评估智能体的道德对齐程度，以应对人工智能安全与伦理治理的迫切需求。数据集基于MACHIAVELLI基准，涵盖136个商业互动小说标题，记录了超过250万条随机策略轨迹，为分析智能体在多样化情境下的行为模式提供了海量数据支撑。该数据集不仅为道德对齐研究提供了标准化评估工具，还推动了环境结构对智能体行为影响的理论发展，对强化学习伦理研究领域具有重要影响力。

当前挑战

该数据集面临的挑战包括：其一，领域问题层面，MACHIAVELLI基准本身聚焦于高维文本环境中的道德决策，但智能体在长期任务中的奖励稀疏与目标歧义性，使得道德对齐评估尤为困难；其二，构建过程中，研究者需剥离受版权保护的剧本文本，仅保留动作、节点ID与派生奖励，以确保数据合法性，这一过程需保证信息无损，即环境在给定起始点与动作序列下仍具确定性，技术实现复杂；此外，大规模随机策略采样涉及计算资源与数据存储的优化，以及确保2.57M条轨迹的多样性与覆盖度，均构成显著挑战。

常用场景

经典使用场景

该数据集作为多轮道德对齐项目（Multi-Turn Moral Alignment）的核心工件，承载了基于MACHIAVELLI环境的结构化rollout记录。其经典使用场景聚焦于强化学习环境中智能体行为的道德对齐评估，研究者可依托20,123个起始点及257万条随机策略episode，系统性地剖析智能体在复杂叙事游戏中的决策轨迹，进而量化其道德倾向与行为模式。

解决学术问题

该数据集直面强化学习领域长期存在的道德对齐难题，通过提供大规模、结构化的环境分析数据，解决了以往研究中因缺乏细粒度行为记录而难以深入探究智能体道德决策机制的问题。其设计将环境动态与注释信息解耦，为分离环境结构与智能体策略的影响提供了数据基础，推动了可解释性AI与安全对齐研究的发展，对构建符合人类价值观的智能系统具有重要的理论意义。

实际应用

在实际应用中，该数据集可用于训练与评估面向文本交互游戏的自主代理，助力开发具备道德感知能力的游戏AI。其记录的无文本结构化数据，便于工业界在不触及版权内容的前提下，进行行为克隆、奖励模型训练及安全策略迭代，同时为内容审核、人机协同决策等领域提供仿真环境，促进负责任的AI在娱乐、教育及虚拟助手等场景中的落地。

数据集最近研究

最新研究方向

该数据集聚焦于多轮道德对齐问题，基于MACHIAVELLI环境的大规模随机策略回放（2.57M条轨迹）与结构化记录，推动强化学习智能体在复杂文本场景中的道德行为评估与对齐研究。其最新方向包括：利用环境结构信息（如游戏深度、行走种子）分析智能体决策与道德维度的耦合关系；通过去文本化处理，实现对长程行为序列的因果推断与奖惩信号解耦；结合训练运行工件，探索道德对齐信号在策略优化中的可迁移性与泛化能力。该数据集为难测的文本游戏AI提供了可复现的基准，并为构建符合人类价值观的决策系统奠定数据基础。