Trelis/openassistant-llama-style

该数据集用于微调聊天模型，使用[INST]和[/INST]来包装用户消息。数据集是从OpenAssistant Conversations Dataset (OASST1)中提取的一个子集，包含了最高评分的对话路径，并经过特定格式的过滤处理。数据集包含9,846个样本，涵盖了35种不同的语言，主要用于聊天模型的微调。

This dataset is designed for fine-tuning chat models, with user messages wrapped using [INST] and [/INST]. It is a subset extracted from the OpenAssistant Conversations Dataset (OASST1), which includes the highest-rated conversation paths and has been filtered in accordance with a specific formatting specification. The dataset contains 9,846 samples spanning 35 distinct languages, and is primarily intended for the fine-tuning of chat models.

原始信息汇总

数据集概述

数据集名称

Filtered OpenAssistant Conversations

数据集描述

该数据集用于微调聊天模型，使用 [INST] 和 [/INST] 包裹用户消息。

数据集来源

该数据集是从 TimDettmers 克隆的，是 Open Assistant 数据集的一个子集，仅包含对话树中评分最高的路径，共有 9,846 个样本。

数据集处理

数据集经过以下过滤处理：

• 将 ### Human: 替换为 [INST]
• 将 ### Assistant: 替换为 </s><s> [/INST]
• 如果一行数据以助手响应结束，则在行末添加 [INST]

原始数据集详情

数据集名称

OpenAssistant Conversations Dataset (OASST1)

数据集描述

OpenAssistant Conversations (OASST1) 是一个由人类生成和标注的助手风格对话语料库，包含 161,443 条消息，涉及 35 种不同语言，带有 461,292 个质量评分，形成了超过 10,000 个完全标注的对话树。该语料库是来自全球超过 13,500 名志愿者的共同努力成果。

数据集结构

数据集包含消息树，每个消息树有一个初始提示消息作为根节点，可以有多个子消息作为回复，这些子消息也可以有多个回复。所有消息都有一个角色属性，可以是 "assistant" 或 "prompter"，对话线程中的角色从提示到叶节点严格交替。

数据集文件

• Ready For Export Trees: 包含 10,364 个树，共 88,838 条消息。
• All Trees: 包含 66,497 个树，共 161,443 条消息。
• Supplemental Exports: Spam & Prompts: 包含被删除或审核结果为负的消息。

语言分布

• 主要语言: 英语、西班牙语、俄语、德语、中文等。
• 其他语言: 越南语、巴斯克语、波兰语、匈牙利语等。

数据集使用

数据集可以直接通过 Huggingface Datasets 加载，适用于监督微调 (SFT) 和奖励模型 (RM) 训练。

联系方式

• Discord: Open Assistant Discord Server
• GitHub: LAION-AI/Open-Assistant
• E-Mail: [e-mail]

搜集汇总

数据集介绍

构建方式

在对话式人工智能领域，高质量的人机交互数据对于模型微调至关重要。Trelis/openassistant-llama-style 数据集源自 Open Assistant 项目，经由 TimDettmers 筛选出对话树中评分最高的路径，共 9,846 个样本。在此基础上，数据集进行了针对性转换：将 '### Human:' 替换为 '[INST]'，将 '### Assistant:' 替换为 '</s><s> [/INST]'，以适配 Llama 2 的指令格式。若数据行以助手回复结尾，则额外添加 '[INST]' 标记，从而构建出符合 Llama 2 风格的结构化对话数据。

特点

该数据集的核心特点在于其精炼与专业化。它仅包含 Open Assistant 语料库中评价最高的对话路径，确保了数据质量的上乘。多语言覆盖（涵盖 35 种语言）使其具备跨文化适用性，而经过格式转换后，数据完全适配 Llama 2 的 [INST] 和 [/INST] 标记体系，便于直接用于聊天模型的指令微调。此外，每个样本均保留了消息的原始标签属性，如质量、创造力等评分，为模型训练提供了丰富的元信息。

使用方法

使用该数据集进行模型微调时，可直接通过 Hugging Face Datasets 库加载。用户只需调用 load_dataset('Trelis/openassistant-llama-style') 即可获取训练数据。数据以对话树形式组织，每条消息包含 role（prompter 或 assistant）和 text 字段，用户可根据 parent_id 和 message_id 重建完整对话流程。建议将数据按 95:5 比例划分为训练集和验证集，并利用 [INST] 和 [/INST] 标记对用户输入进行包装，以符合 Llama 2 的输入格式，从而实现高效的指令微调。

背景与挑战

背景概述

Trelis/openassistant-llama-style数据集源于LAION-AI社区于2023年4月发布的OpenAssistant Conversations（OASST1）语料库，该语料库由全球超过13,500名志愿者众包构建，包含161,443条多语言对话消息及461,292条质量评分，旨在推动大规模语言模型对齐研究的民主化。该数据集的核心研究问题在于如何利用高质量的人类反馈数据优化对话模型的指令遵循能力，其影响力体现在为监督微调与奖励模型训练提供了结构化对话树资源。Trelis团队在此基础上，选取对话树中评分最高的9,846条路径，并针对Llama 2的对话格式进行适配，将用户消息包裹于[INST]与[/INST]标记之间，同时调整助手回复的结尾标识以促进模型生成结束符，从而形成专用于Llama 2风格聊天模型微调的精炼子集。

当前挑战

该数据集面临多重挑战：首先，在领域问题层面，对话模型需要处理跨35种语言的语义多样性、文化背景差异及隐含意图理解，确保生成内容既准确又符合伦理规范，这对模型的对齐能力提出了极高要求。其次，在构建过程中，原始OASST1语料库的对话树结构复杂，包含嵌套回复与多轮交互，筛选最高评分路径时需平衡数据质量与多样性，避免因过度聚焦高分样本而丢失边缘场景的泛化能力。此外，格式转换中需精确处理标记符号的替换逻辑，例如确保[INST]标记在对话末尾的正确插入，避免破坏序列的因果一致性，同时维护不同语言下特殊字符的兼容性，这对数据清洗流程的鲁棒性构成了显著考验。

常用场景

经典使用场景

在大型语言模型的微调与对齐研究中，Trelis/openassistant-llama-style 数据集被广泛用作对话式指令微调的基石。其核心价值在于将原始Open Assistant数据集中评分最高的对话路径，转化为适配Llama 2架构的[INST]与[/INST]标记格式，从而为研究者提供了一套可直接用于监督式微调的高质量语料。该数据集精选了9,846条对话样本，涵盖了从英语到中文等数十种语言，尤其适合用于训练模型在多样化语境下生成符合人类偏好的回复。通过这种结构化的对话格式，模型能够更清晰地理解用户指令与助手回应的边界，进而提升在开放域对话中的连贯性与准确性。

解决学术问题

该数据集直面大规模语言模型对齐研究中的关键瓶颈——如何高效获取并利用人类反馈信号来优化模型行为。原始OASST1数据集虽包含超过16万条消息和46万条质量评分，但其复杂的树状结构增加了训练难度。Trelis/openassistant-llama-style通过筛选最高评分的对话路径并统一格式，解决了从非结构化对话树到可训练序列的转换问题，为学术研究提供了一个标准化、低噪声的微调基准。其意义在于，它使得研究者能够更聚焦于对齐算法的改进（如强化学习从人类反馈），而非数据预处理，从而推动了模型在安全性、有用性和真实性方面的系统性提升，对后续RLHF领域的实验设计产生了深远影响。

衍生相关工作

该数据集衍生了一系列重要的研究工作，其中最经典的包括基于Llama 2的对话模型微调框架，以及后续的Guanaco系列模型。Guanaco模型通过在此数据上进一步优化训练策略，证明了在有限数据下也能实现与ChatGPT相媲美的性能，引发了关于数据质量与模型规模关系的广泛讨论。此外，研究者还利用该数据集探索了多轮对话中的奖励模型训练，提出了更高效的偏好对齐方法。在开源社区中，该数据集成为评估不同微调技术（如LoRA、QLoRA）效果的通用基准，催生了大量关于参数高效微调与对话能力提升的实证分析，为语言模型的可控生成研究提供了关键实验平台。