Sandbox Alignment Data|模型反馈数据集|交互优化数据集

该数据集致力于运用模型自身的反馈机制来进行数
据标注，而非依赖人类的直接参与。此数据集源自于一个名为SANDBOX 的虚拟
交互环境，该环境模拟了人类社交互动的场景。在这个环境中，多个大语言模型
根据问题给出回复然后互相“交流”，并根据彼此的反馈来不断修正和完善自己的
回复，以期达到更佳的交互效果。该数据集涵盖了169K 个实例，每个实例均包含
一个查询、多个回复选项以及由其他模型给出的相应评分。

This dataset is dedicated to utilizing the model's own feedback mechanism for data annotation, rather than relying on direct human involvement. Originating from a virtual interactive environment named SANDBOX, which simulates human social interaction scenarios, this dataset involves multiple large language models (LLMs) providing responses to queries and then 'communicating' with each other. Through this process, they continuously refine and improve their responses based on mutual feedback, aiming to achieve better interaction outcomes. The dataset encompasses 169K instances, each containing a query, multiple response options, and corresponding ratings provided by other models.

原始信息汇总

Stable Alignment 数据集概述

数据集简介

Stable Alignment 项目旨在提供一种优于RLHF的对齐学习方法，具有高效的数据学习和易于扩展部署的特点。该方法通过直接训练模拟社交游戏中的交互数据，避免了训练额外奖励模型可能带来的优化问题。

数据集内容

• 社交模拟代码：用于在沙盒环境中运行社交模拟。
• 169K 交互数据：用于对齐训练的交互数据。
• 训练代码：使用稳定对齐方法进行训练的代码。
• So(cially)-Good 语言模型：训练好的语言模型。

数据统计

sandbox_v1.json

数据类型 / 社交代理类型	text-davinci-002	text-davinci-003	ChatGPT	总计
对齐模仿	9.8k	10k	10k	29.8k
自我批评	17k	20k	20k	57k
重新对齐	3.3k	3k	0.7k	7k
总计	30.1k	33k	30.7k	93.8k

sandbox_v2.json

数据类型 / 社交代理类型	text-davinci-002	text-davinci-003	GPT4	总计
对齐模仿	18.2k	10.4k	20.2k	48.8k
自我批评	36.3k	18.3k	40k	94.6k
重新对齐	18.2k	3.4k	4.0k	25.6k
总计	72.7k	32.1k	64.2k	169k

训练方法

使用 torchrun 命令进行训练，支持多GPU训练，训练参数包括模型路径、数据路径、训练轮数、批量大小等。

模型发布

• better-base：基于LLaMA训练的模型，使用AlpacaDataCleaned和codealpaca数据集。
• hh-rlhf-sft：在better-base基础上使用Anthropic HH-RLHF数据集进行监督微调的模型。
• socially-good-lm：在hh-rlhf-sft基础上使用稳定对齐方法训练的社会对齐语言模型。

引用

如果使用本数据集或代码，请引用以下论文： bibtex @misc{liu2023sociallyaligned, title={Training Socially Aligned Language Models in Simulated Human Society}, author={Ruibo Liu and Ruixin Yang and Chenyan Jia and Ge Zhang and Denny Zhou and Andrew M. Dai and Diyi Yang and Soroush Vosoughi}, year={2023}, eprint={2305.16960}, archivePrefix={arXiv}, primaryClass={cs.CL} }

AI搜集汇总

数据集介绍

构建方式

Sandbox Alignment Data 数据集的构建基于模拟社交游戏中的交互数据，旨在提供一种替代RLHF（基于人类反馈的强化学习）的方法。通过直接利用模拟社交游戏中的记录数据，避免了训练额外奖励模型可能带来的优化偏差。数据集包含169K条交互数据，涵盖了多种社交代理类型（如text-davinci-002、text-davinci-003、ChatGPT等），并通过多轮模拟生成高质量的对齐数据。

特点

该数据集的特点在于其多样性和高质量。数据来源于多种社交代理的交互，涵盖了对齐模仿、自我批评和重新对齐三种类型的数据。数据集经过精心采样，确保各类数据的平衡性。此外，数据集还提供了详细的统计信息，便于用户了解数据的分布和结构。通过模拟社交游戏生成的交互数据，能够有效捕捉复杂的社会行为模式，为对齐学习提供了丰富的训练素材。

使用方法

数据集的使用方法包括模拟社交游戏的运行、对齐训练以及模型推理。用户可以通过提供的代码库安装依赖并运行模拟，生成新的交互数据。对齐训练部分提供了详细的命令行参数配置，用户可以根据需求调整模型路径、数据路径、训练轮数等参数。训练完成后，用户可以通过推理脚本加载训练好的模型进行推理。此外，数据集还提供了预训练模型和微调模型的下载链接，用户可以直接使用这些模型进行进一步的研究和应用。

背景与挑战

背景概述

Sandbox Alignment Data 数据集由Ruibo Liu等研究人员于2023年创建，旨在通过模拟社交游戏中的交互数据，提供一种优于传统RLHF（基于人类反馈的强化学习）的对齐学习方法。该数据集的核心研究问题是如何在无需额外奖励模型的情况下，通过高质量的数据和可靠的算法实现稳定的对齐学习。数据集包含169K条交互数据，涵盖了多种社交代理类型（如text-davinci-002、text-davinci-003、ChatGPT等）的模拟结果。这一研究对自然语言处理领域，特别是语言模型的社会对齐问题，具有重要的推动作用。

当前挑战

Sandbox Alignment Data 数据集在构建和应用过程中面临多重挑战。首先，如何确保模拟社交游戏中的交互数据能够真实反映人类社会的复杂性，是一个关键问题。其次，数据集的构建依赖于大规模模拟实验，这对计算资源和时间成本提出了较高要求。此外，如何在无需额外奖励模型的情况下，通过直接训练交互数据实现稳定的对齐学习，仍是一个未完全解决的难题。最后，数据集的多样性和规模虽然为研究提供了丰富的信息，但也增加了数据处理和模型训练的复杂性。这些挑战共同构成了该数据集在研究和应用中的主要障碍。

常用场景

经典使用场景

Sandbox Alignment Data 数据集在模拟社交游戏中的对齐学习领域具有重要应用。通过记录模拟社交游戏中的交互数据，该数据集为研究者提供了一个独特的平台，用于探索和优化语言模型的社会对齐性能。其经典使用场景包括在模拟环境中训练语言模型，使其能够更好地理解和遵循社会规范，从而在真实世界的应用中表现出更高的社会适应性。

实际应用

在实际应用中，Sandbox Alignment Data 数据集被广泛用于开发社会对齐的语言模型，这些模型能够应用于客服、教育、心理咨询等多个领域。通过模拟社交游戏中的交互数据，模型能够更好地理解人类的情感和意图，从而提供更加个性化和符合社会规范的服务。这种应用不仅提升了用户体验，还增强了人工智能系统在社会中的接受度和信任度。

衍生相关工作

基于 Sandbox Alignment Data 数据集，研究者们已经开发了多个经典的社会对齐语言模型，如 `better-base`、`hh-rlhf-sft` 和 `socially-good-lm`。这些模型在学术界和工业界都得到了广泛应用，并推动了社会对齐学习领域的研究进展。此外，该数据集还激发了更多关于如何在模拟环境中优化语言模型的研究，进一步拓展了人工智能在社会交互中的应用边界。