biznetgio/oasst2-balinese

---
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 41734658
num_examples: 39283
download_size: 13627462
dataset_size: 41734658
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征项：
- 字段名：消息ID（message_id），数据类型：字符串（string）
- 字段名：父消息ID（parent_id），数据类型：字符串
- 字段名：用户ID（user_id），数据类型：字符串
- 字段名：创建日期（created_date），数据类型：字符串
- 字段名：文本内容（text），数据类型：字符串
- 字段名：角色（role），数据类型：字符串
- 字段名：语言（lang），数据类型：字符串
- 字段名：审核次数（review_count），数据类型：64位整型（int64）
- 字段名：审核结果（review_result），数据类型：布尔型（bool）
- 字段名：是否已删除（deleted），数据类型：布尔型
- 字段名：排序分值（rank），数据类型：双精度浮点型（float64）
- 字段名：是否为合成数据（synthetic），数据类型：布尔型
- 字段名：模型名称（model_name），数据类型：空值（null）
- 字段名：毒性检测（detoxify），结构体包含以下子字段：
- 身份攻击得分（identity_attack），数据类型：双精度浮点型
- 侮辱得分（insult），数据类型：双精度浮点型
- 淫秽内容得分（obscene），数据类型：双精度浮点型
- 严重毒性得分（severe_toxicity），数据类型：双精度浮点型
- 色情露骨内容得分（sexual_explicit），数据类型：双精度浮点型
- 威胁得分（threat），数据类型：双精度浮点型
- 总体毒性得分（toxicity），数据类型：双精度浮点型
- 字段名：消息树ID（message_tree_id），数据类型：字符串
- 字段名：树状结构状态（tree_state），数据类型：字符串
- 字段名：表情信息（emojis），结构体包含以下子字段：
- 数量（count）：序列整型（sequence: int64）
- 名称（name）：序列字符串（sequence: string）
- 字段名：标签信息（labels），结构体包含以下子字段：
- 数量（count）：序列整型
- 名称（name）：序列字符串
- 取值（value）：序列双精度浮点型
数据集划分：
- 划分名称：训练集（train），占用字节数：41734658，样本数量：39283
下载大小：13627462，数据集总大小：41734658
配置项：
- 配置名称：默认配置（default），数据文件：
- 对应划分：训练集，文件路径：data/train-*

原始信息汇总

数据集概述

特征信息

数据集包含以下特征：

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型，包含以下字段：
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型，包含以下字段：
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型，包含以下字段：
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• train: 包含41,734,658字节的数据，共39,283个样本

数据集大小

• 下载大小: 13,627,462字节
• 数据集大小: 41,734,658字节

配置信息

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，多语言对话数据集对于构建跨文化智能系统至关重要。biznetgio/oasst2-balinese数据集源自Open Assistant项目，经过精细的筛选与转换，聚焦于巴厘语这一低资源语言。其构建过程遵循树状对话结构，每条消息包含唯一标识符、父级消息ID、用户角色、时间戳及文本内容，并通过人工评审与自动去毒化检测确保质量。数据集采用HuggingFace标准格式，将训练数据统一划分为单一训练集，包含约3.9万条样本，保留了消息树状态、情感标签与表情符号等丰富元信息。

特点

该数据集的核心特点在于其针对巴厘语的稀缺性填补与结构化设计。每条对话记录不仅包含多轮交互的层级关系，还附带了评审结果、删除标记与排名分数，为模型训练提供了可靠的监督信号。尤为突出的是，数据集中集成了去毒化评分，涵盖身份攻击、侮辱、色情等七项细粒度毒性指标，使研究者能有效评估与过滤有害内容。此外，标签字段与表情符号序列的嵌入，为情感分析与多模态学习提供了独特的数据维度。

使用方法

使用该数据集时，研究者可直接通过HuggingFace的datasets库加载默认配置，获取包含完整特征集的训练分片。每条数据以字典形式呈现，可轻松提取文本字段用于语言模型微调，或利用parent_id与message_tree_id重建对话树结构。推荐结合rank与review_result字段筛选高质量子集，并借助detoxify评分进行内容安全过滤。对于情感分析任务，labels中的value序列可直接作为弱监督标签，而emojis字段则可辅助构建多模态对话系统。

背景与挑战

背景概述

在自然语言处理领域，多语言对话系统的研究日益受到重视，尤其是针对低资源语言的语料库构建成为推动技术普惠的关键。biznetgio/oasst2-balinese数据集由Open Assistant项目衍生而来，专注于巴厘语这一印尼地方性语言，创建时间可追溯至2023年。该数据集由社区贡献者与巴厘语语言专家协作完成，核心研究问题在于如何通过人工反馈强化学习（RLHF）范式，为低资源语言构建高质量的指令微调与对话数据。其影响力体现在填补了巴厘语在开源对话数据集中的空白，为多语言AI模型的公平性研究提供了重要支撑，同时促进了东南亚地区语言资源的数字化保护。

当前挑战

该数据集面临的核心挑战包括：首先，巴厘语作为低资源语言，现有语料库规模有限，导致数据集仅包含约3.9万条样本，难以覆盖复杂对话场景与领域术语，模型泛化能力受限。其次，数据构建过程中需处理方言变体与口语化表达的标注一致性，例如对‘review_result’与‘detoxify’字段的毒性检测依赖人工审核，但标注者间主观差异可能引入噪声。此外，对话树结构（message_tree_id）的完整性维护与‘tree_state’状态的自动校验技术尚不成熟，易因数据缺失影响训练效果。最后，巴厘语特有的语法与语用特征（如敬语体系）在RLHF框架中的奖励模型建模缺乏先验研究，增加了偏好对齐的难度。

常用场景

经典使用场景

在低资源语言自然语言处理研究领域，巴厘语作为印度尼西亚境内使用人数有限的区域性语言，长期面临标注语料匮乏的困境。biznetgio/oasst2-balinese数据集基于Open Assistant 2项目构建，通过众包方式收集了约3.9万条巴厘语对话数据，每条记录包含完整的对话树结构、角色标签、质量评分及毒性检测指标。该数据集最经典的使用场景是作为巴厘语指令微调与对话系统的训练语料，研究者可基于其层级化的对话结构开展多轮对话建模、偏好对齐等任务，同时利用内置的toxicity评分进行安全可控的对话生成研究。

解决学术问题

该数据集有效缓解了巴厘语在对话式AI研究中的数据荒问题，为低资源语言指令微调提供了基准测试平台。学术研究中，它解决了三个关键问题：其一，填补了南岛语系下小语种对话数据集的空白，使研究人员能够探索跨语言迁移学习在巴厘语上的适用边界；其二，通过标准化对话树结构与质量标签，支持了对话系统评估中人工偏好与自动指标的一致性研究；其三，detoxify字段的引入使得针对低资源语言的有毒内容检测与过滤研究成为可能，推动了多语言安全AI的理论发展。

衍生相关工作

围绕该数据集已衍生出多项具有影响力的研究工作。在模型层面，研究者基于其对话结构提出了针对低资源语言的参数高效微调方法，验证了LoRA适配器在巴厘语指令遵循任务上的有效性。在评估方面，有工作利用该数据集构建了巴厘语对话质量自动评估基准，探索了语言无关的评估指标设计。此外，跨语言对话生成研究借助该数据集的平行对话结构，分析巴厘语与印尼语之间的语义对齐模式，为多语言对话系统的统一建模提供了实证基础。