ravialdy/javanese-translated

---
dataset_info:
features:
- name: message_id
dtype: string
- name: parent_id
dtype: string
- name: user_id
dtype: string
- name: created_date
dtype: string
- name: text
dtype: string
- name: role
dtype: string
- name: lang
dtype: string
- name: review_count
dtype: int64
- name: review_result
dtype: bool
- name: deleted
dtype: bool
- name: rank
dtype: float64
- name: synthetic
dtype: bool
- name: model_name
dtype: 'null'
- name: detoxify
struct:
- name: identity_attack
dtype: float64
- name: insult
dtype: float64
- name: obscene
dtype: float64
- name: severe_toxicity
dtype: float64
- name: sexual_explicit
dtype: float64
- name: threat
dtype: float64
- name: toxicity
dtype: float64
- name: message_tree_id
dtype: string
- name: tree_state
dtype: string
- name: emojis
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: labels
struct:
- name: count
sequence: int64
- name: name
sequence: string
- name: value
sequence: float64
splits:
- name: train
num_bytes: 108091191
num_examples: 100561
download_size: 36662895
dataset_size: 108091191
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：消息ID（message_id），数据类型：字符串
- 名称：父消息ID（parent_id），数据类型：字符串
- 名称：用户ID（user_id），数据类型：字符串
- 名称：创建日期（created_date），数据类型：字符串
- 名称：文本内容（text），数据类型：字符串
- 名称：角色（role），数据类型：字符串
- 名称：语言（lang），数据类型：字符串
- 名称：审核次数（review_count），数据类型：64位整型
- 名称：审核结果（review_result），数据类型：布尔型
- 名称：是否已删除（deleted），数据类型：布尔型
- 名称：排序分值（rank），数据类型：双精度浮点型
- 名称：是否为合成数据（synthetic），数据类型：布尔型
- 名称：模型名称（model_name），数据类型：空值
- 名称：毒性检测（detoxify），结构体：
- 名称：身份攻击得分（identity_attack），数据类型：双精度浮点型
- 名称：侮辱得分（insult），数据类型：双精度浮点型
- 名称：淫秽内容得分（obscene），数据类型：双精度浮点型
- 名称：严重毒性得分（severe_toxicity），数据类型：双精度浮点型
- 名称：露骨性内容得分（sexual_explicit），数据类型：双精度浮点型
- 名称：威胁得分（threat），数据类型：双精度浮点型
- 名称：毒性得分（toxicity），数据类型：双精度浮点型
- 名称：消息树ID（message_tree_id），数据类型：字符串
- 名称：消息树状态（tree_state），数据类型：字符串
- 名称：表情符号（emojis），结构体：
- 名称：表情计数（count），数据类型：整型序列
- 名称：表情名称（name），数据类型：字符串序列
- 名称：标签（labels），结构体：
- 名称：标签计数（count），数据类型：整型序列
- 名称：标签名称（name），数据类型：字符串序列
- 名称：标签值（value），数据类型：浮点型序列
数据集拆分：
- 拆分名称：训练集（train），字节大小：108091191，样本数量：100561
下载总大小：36662895，数据集总大小：108091191
配置项：
- 配置名称：默认配置（default），数据文件：
- 划分：训练集，路径：data/train-*

原始信息汇总

数据集概述

数据集信息

特征

• message_id: 字符串类型
• parent_id: 字符串类型
• user_id: 字符串类型
• created_date: 字符串类型
• text: 字符串类型
• role: 字符串类型
• lang: 字符串类型
• review_count: 64位整数类型
• review_result: 布尔类型
• deleted: 布尔类型
• rank: 64位浮点数类型
• synthetic: 布尔类型
• model_name: null类型
• detoxify: 结构体类型
  • identity_attack: 64位浮点数类型
  • insult: 64位浮点数类型
  • obscene: 64位浮点数类型
  • severe_toxicity: 64位浮点数类型
  • sexual_explicit: 64位浮点数类型
  • threat: 64位浮点数类型
  • toxicity: 64位浮点数类型
• message_tree_id: 字符串类型
• tree_state: 字符串类型
• emojis: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
• labels: 结构体类型
  • count: 序列化的64位整数类型
  • name: 序列化的字符串类型
  • value: 序列化的64位浮点数类型

数据分割

• train:
  • 字节数: 108091191
  • 样本数: 100561

数据集大小

• 下载大小: 36662895 字节
• 数据集大小: 108091191 字节

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，低资源语言的对话数据集构建始终是研究难点。ravialdy/javanese-translated数据集源自对大规模多语言对话数据的筛选与翻译，聚焦于爪哇语这一使用广泛却资源稀缺的语言。其构建过程以公开的对话树结构为基础，选取了包含消息ID、父消息ID、用户ID、创建时间、文本内容、角色、语言等元数据的原始条目，并通过自动化流程将非爪哇语文本翻译为目标语言。数据经过严格的质量控制，包括审查次数、审查结果、删除标记及排名等字段的记录，同时利用去毒化评分（如身份攻击、侮辱、淫秽等维度）过滤有害内容，最终形成包含约10万条训练样本的高质量数据集。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，指定配置名为default并选择train分片即可获取全部10万余条样本。数据以Parquet格式存储，支持高效的列式读取。对于对话建模任务，可依据message_id与parent_id构建树状结构，利用role字段区分用户与助手的发言。在翻译质量评估中，可结合lang字段筛选源语言，并借助review_result和review_count衡量标注可靠性。针对毒性分析研究，detoxify结构下的七类评分可直接作为回归或分类标签。由于数据已包含去毒化过滤，用户亦可直接使用text字段进行爪哇语的微调训练或生成评估，无需额外清洗。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的语料库构建始终是一项艰巨的挑战，尤其对于爪哇语这类使用人口众多却缺乏数字化资源的语言而言。ravialdy/javanese-translated数据集由独立研究者Ravialdy于近期创建，旨在填补爪哇语对话数据空白，为多语言对话系统与语言模型研究提供基础资源。该数据集源自OpenAssistant项目中的多语言对话树，经过筛选与翻译形成包含逾十万条爪哇语消息的语料库，每条消息均标注了角色、语言、毒性评分及情感标签等丰富元信息。其核心研究问题聚焦于如何将大规模英文对话数据高效转化为低资源语言的可用训练资源，同时保持对话结构的完整性与语义的准确性。这一数据集的问世为爪哇语的自然语言理解、对话生成及跨语言迁移学习提供了关键支撑，推动了东南亚语言在NLP领域的平等发展。

当前挑战

当前数据集面临的首要挑战是领域问题的复杂性：爪哇语作为低资源语言，缺乏成熟的预训练语言模型与标注工具，导致直接使用该数据集训练模型时，需应对词汇形态丰富、语序灵活及社会语言层级（如敬语系统）等语言学特性带来的建模困难。构建过程中，从OpenAssistant的多语言对话树中筛选爪哇语内容并确保翻译质量是一大难题，原始数据中混合的英语与印尼语干扰需要精细的过滤策略。此外，数据集的毒性检测标签虽覆盖七类攻击性指标，但基于通用分类器的评分在爪哇语语境下可能存在文化偏差，例如对特定敬语缺失的误判。数据规模虽达十万条，但相较于主流语言仍显不足，且对话树结构可能引入主题分布不均与长尾现象，影响模型泛化能力。

常用场景

经典使用场景

在自然语言处理与多语言对话系统研究领域，ravialdy/javanese-translated数据集为低资源语言——爪哇语的语义理解与生成任务提供了珍贵的语料支撑。该数据集包含逾十万条经过翻译与标注的对话记录，每条数据均附带角色、语言标签、毒性评分及情感标签等结构化信息，使其成为训练跨语言对话模型、进行多语言情感分析以及构建安全可控对话系统的理想基准。研究者可借助其丰富的元数据，深入探索爪哇语中话语的语境依赖性、情感表达模式及对话行为的序列结构，从而推动低资源语言在智能交互场景中的技术突破。

解决学术问题

该数据集直面低资源语言在计算语言学中的核心困境——大规模高质量标注语料的匮乏。通过提供标准化的对话结构与多维度的语义标签，它有效解决了爪哇语在对话系统训练中数据稀疏与领域适配难题。学术上，它支持对多语言对话中角色切换、情感演化及毒性检测等复杂现象的量化研究，为跨文化语用学理论的计算验证开辟了新路径。此外，其包含的合成与人工数据对比，为探究数据生成策略对模型鲁棒性的影响提供了实验基石，显著推动了低资源语言自然语言处理的学术边界。

实际应用

在实际应用中，该数据集助力构建面向爪哇语用户的智能客服、教育辅助及社区管理工具。例如，基于其毒性评分字段，可训练内容审核模型以识别并过滤对话中的攻击性语言，保障在线交流环境的健康。同时，情感标签与角色信息使开发者能够定制具有文化敏感性的情感支持机器人，服务于爪哇岛地区的医疗咨询或心理疏导场景。其翻译属性还支持跨语言信息检索系统，帮助非爪哇语使用者理解本地化内容，从而促进区域数字化服务的包容性发展。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的对话系统构建正成为前沿热点。ravialdy/javanese-translated数据集聚焦于爪哇语的对话数据，涵盖多轮交互、角色标注、毒性检测及情感标签等丰富维度，为研究非主流语言的大规模对话理解与生成提供了稀缺资源。该数据集不仅支持多语言翻译模型的微调，还可用于探索跨文化语境下的对话安全性与情感分析，呼应了当前AI伦理与语言多样性保护的趋势。其结构化特征如用户行为追踪与合成数据标识，为构建更鲁棒、更公平的多语言对话系统奠定了实证基础，对推动东南亚语言数字化与包容性AI发展具有深远意义。