chrystians/oasst1_pl_3

该数据集包含多个字段，主要涉及消息ID、父消息ID、用户ID、创建日期、文本内容、角色、语言、审核次数、审核结果、删除状态、排名、是否为合成数据、模型名称、毒性分析（包括身份攻击、侮辱、淫秽、严重毒性、性暗示、威胁、毒性等）、消息树ID、树状态、表情符号（包括数量和名称）、标签（包括数量、名称和值）等信息。数据集分为训练集和验证集，分别包含81037和3001个样本，总大小为70023164字节。

原始信息汇总

数据集概述

数据集信息

特征

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• train:
  • 字节数: 67590476
  • 样本数: 81037
• validation:
  • 字节数: 2432688
  • 样本数: 3001

数据集大小

• 下载大小: 20433061 字节
• 数据集大小: 70023164 字节

配置

• default:
  • 数据文件:
    • train: data/train-*
    • validation: data/validation-*

搜集汇总

数据集介绍

构建方式

在开放助手（Open Assistant）多语言对话数据集的庞大语料库中，chrystians/oasst1_pl_3聚焦于波兰语子集，通过从原始数据中筛选出语言标记为波兰语的对话树构建而成。数据集保留了原始结构中的消息层级关系，每条消息均包含唯一标识符、父消息ID、用户角色、时间戳及文本内容，同时融入了人工审核结果与毒性评分等元数据。其构建过程严格遵循了原始数据集的收集范式，即通过众包平台招募志愿者，以人机协作方式生成并评估多轮对话，最终形成具有树状拓扑结构的对话样本集合。

使用方法

该数据集可通过HuggingFace的datasets库直接加载，使用`load_dataset`函数指定配置名称'default'即可获取训练与验证分片。使用时需注意，数据以Parquet格式存储，每条记录包含文本、角色及多层次元数据字段。研究者可依据`lang`字段进行语言二次筛选，或利用`parent_id`重构对话树结构，适用于对话生成、毒性检测及偏好对齐等任务。由于数据集中存在部分标记为`synthetic`的合成样本，建议在训练前根据需求进行过滤，以平衡自然对话与生成数据的比例。

背景与挑战

背景概述

在大型语言模型与人类价值对齐的研究浪潮中，OpenAssistant Conversations（OASST1）数据集作为一项里程碑式的工作，由LAION等国际研究机构于2023年发布，旨在通过众包方式收集多语言、多轮次的对话数据，以训练能够遵循人类指令的对话助手。chrystians/oasst1_pl_3作为其波兰语子集，聚焦于波兰语场景下的人机交互数据，承载着推动非英语语言对话模型发展的核心使命。该数据集包含超过8万条训练样本与3千条验证样本，每条对话均经过人类注释者的质量审核（review_result）、毒性评分（detoxify）及情感标签（labels）等多维度标注，为研究多语言对话系统的安全性与可控性提供了基础资源，尤其对波兰语自然语言处理领域产生了深远影响。

当前挑战

该数据集面临的核心挑战源于多语言对话系统的领域复杂性。其一，波兰语作为屈折语，其复杂的词形变化与语法结构对模型的语言理解能力提出了更高要求，而数据集中仅包含单轮对话树（message_tree_id）的上下文结构，难以充分捕捉长程语义依赖关系。其二，构建过程中，众包标注者的主观差异性导致标签（labels）与毒性评分（detoxify）存在不一致性，例如对同一回复的‘侮辱性’（insult）评分可能因文化背景而分歧，削弱了数据质量。此外，数据集中‘合成’（synthetic）样本与真实用户生成内容的混合，增加了模型学习真实对话模式的难度，而‘删除’（deleted）标记的样本处理策略尚需优化，以避免引入偏差。

常用场景

经典使用场景

在自然语言处理与对话系统的前沿探索中，chrystians/oasst1_pl_3数据集作为Open Assistant项目在波兰语分支上的精华提炼，承载了丰富的人机交互对话记录。其经典使用场景聚焦于波兰语对话模型的训练与评估，研究者可借助该数据集中涵盖的多样化角色（如用户与助手）和层级化对话树结构，构建能够理解并生成自然、连贯波兰语回应的智能对话系统。数据集中包含的toxicity评分、情感标签及人工评估排名等元信息，为模型在安全性与回复质量上的精细调优提供了独特视角，使其成为多语言对话研究中不可或缺的基准资源。

解决学术问题

该数据集精准回应了低资源语言对话建模的学术挑战，尤其填补了波兰语在开放域对话系统研究中的空白。传统上，波兰语等非英语语言因缺乏大规模、高质量、带人工标注的对话数据，导致模型在跨语言迁移与本地化应用中表现不佳。chrystians/oasst1_pl_3通过提供结构化对话树、人工审核结果及毒性检测分数，使研究者得以系统探究多轮对话中的语义连贯性、角色一致性及安全控制策略。其意义在于推动了多语言对话系统的公平性研究，验证了基于社区众包构建高质量低资源语言数据集的有效路径，为语言多样性保护提供了数据基石。

实际应用

在实际应用中，该数据集直接赋能波兰语智能客服、教育辅导及虚拟助手等场景的落地。企业可利用其训练本土化对话模型，以理解波兰语用户特有的表达习惯与文化背景，提升服务响应准确度与用户满意度。例如，在波兰的电商平台上，基于该数据集微调的模型能够更自然地处理产品咨询、订单追踪等任务；在教育领域，它支持构建波兰语学习助手，通过模拟真实对话场景帮助用户练习语言技能。此外，数据集中嵌入的过滤机制与安全评分，为部署符合欧盟法规的合规性对话系统提供了实用保障。

数据集最近研究

最新研究方向

基于波兰语开源助手对话数据集的指令微调与安全对齐研究