wicho/kor_3i4k

3i4K数据集是一组常用的韩语词汇（由首尔国立大学语音语言处理实验室提供）和手动创建的问题/命令，包含短句。其目标是根据文本转录识别说话者的意图，并在某些情况下需要使用辅助的声学特征。分类系统决定话语是片段、陈述、问题、命令、修辞问题、修辞命令还是依赖于语调的话语。这对于像韩语这样的头尾语言来说非常重要，因为语调水平在识别说话者意图中起着重要作用。

原始信息汇总

数据集描述

数据集概述

3i4K数据集包含常用韩语词汇（由首尔国立大学语音语言处理实验室提供）和手动创建的包含短语的问题/命令。该数据集旨在基于语音转录本识别说话者的意图，某些情况下需要使用辅助声学特征。分类系统决定话语是片段、陈述、问题、命令、修辞问题、修辞命令还是依赖语调的话语。在像韩语这样的头部后置语言中，语调水平在识别说话者意图方面起着重要作用。

支持的任务和排行榜

• intent-classification：该数据集可以通过CNN或BiLISTM-Att进行训练，以识别韩语口语话语的意图，并可以通过F1分数衡量其性能。

语言

数据集中的文本为韩语，关联的BCP-47代码为ko-KR。

数据集结构

数据实例

一个数据实例包含一个短语及其标签：

json { "label": 3, "text": "선수잖아 이 케이스 저 케이스 많을 거 아냐 선배라고 뭐 하나 인생에 도움도 안주는데 내가 이렇게 진지하게 나올 때 제대로 한번 조언 좀 해줘보지" }

数据字段

• label：确定话语的意图，可以是以下之一：fragment（0）、statement（1）、question（2）、command（3）、rhetorical question（4）、rhetorical command（5）和intonation-dependent utterance（6）。
• text：关于家务、天气、交通等常见话题的韩语文本。

数据分割

数据分为包含55134个样本的训练集和包含6121个样本的测试集。

数据集创建

策划理由

对于像韩语这样的头部后置语言，语调可以是识别说话者意图的决定性因素。该数据集的目的是确定话语是片段、陈述、问题、命令还是修辞问题/命令，使用来自头部后置性的语调依赖性。这有望提高对韩语口语话语的语言理解，并有益于语音转文本应用。

源数据

初始数据收集和规范化

语料库由首尔国立大学语音语言处理实验室提供，包含来自韩国国家语言研究所的常用词汇和手动创建的命令和问题。话语涵盖天气、交通和股票等话题。随机选择了20k行。

源语言生产者是谁？

韩语母语者产生了这些命令和问题。

注释

注释过程

话语被分类为七个类别。他们提供了清晰的注释指南（参见此处），最终的注释者间一致性为0.85，最终决定通过多数投票完成。

注释者是谁？

注释由三位首尔韩语母语者完成。

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

该数据集由Won Ik Cho、Hyeon Seung Lee、Ji Won Yoon、Seok Min Kim和Nam Soo Kim策展。

许可信息

该数据集根据CC BY-SA-4.0许可。

引用信息

plaintext @article{cho2018speech, title={Speech Intention Understanding in a Head-final Language: A Disambiguation Utilizing Intonation-dependency}, author={Cho, Won Ik and Lee, Hyeon Seung and Yoon, Ji Won and Kim, Seok Min and Kim, Nam Soo}, journal={arXiv preprint arXiv:1811.04231}, year={2018} }

贡献

感谢@stevhliu添加此数据集。

搜集汇总

数据集介绍

构建方式

在头尾核心语言（如韩语）中，语调对识别说话者意图具有决定性作用。为深入探究这一语言现象，3i4K数据集应运而生。该数据集以首尔大学语音语言处理实验室提供的韩语常用词汇语料库为基础，融合了人工构建的简短疑问句与祈使句，覆盖天气、交通、股票等日常话题。原始语料中随机抽取约2万行，经由三位首尔韩语母语者依据详尽的标注指南进行七类意图标注（碎片语、陈述句、疑问句、祈使句、反问句、反祈使句及语调依赖句），最终通过多数投票确定标签，标注者间一致性高达0.85，确保了数据的高质量与可靠性。

特点

3i4K数据集的核心特色在于其精细的七类意图分类体系，尤其突出了语调依赖句这一独特类别，精准捕捉了韩语作为头尾核心语言中语调对意图识别的关键作用。数据集包含训练集55,134条与测试集6,121条实例，规模适中且分布均衡。每条数据由短文本与对应标签构成，文本内容贴近日常生活，具有高度的生态效度。该数据集不仅支持传统的意图分类任务，更为研究语调与句法交互的消歧问题提供了宝贵的资源，对提升韩语口语理解系统的性能具有重要价值。

使用方法

该数据集专为文本分类任务设计，尤其适用于韩语口语意图识别场景。用户可通过Hugging Face Datasets库便捷加载，默认配置下训练集与测试集已预先划分。模型训练可采用卷积神经网络（CNN）或双向长短期记忆网络与注意力机制（BiLSTM-Att）等架构，以F1分数作为性能评估指标。数据中的标签为整数编码，对应七类意图，文本字段保持原始韩语形式。研究者可基于此数据集开展语调依赖消歧实验，或将其作为预训练语言模型微调的基准，推动韩语自然语言理解技术的发展。

背景与挑战

背景概述

在句尾语言（如韩语）中，语调在解析说话者意图时扮演着至关重要的角色，然而现有自然语言理解研究多聚焦于英语等非句尾语言，忽略了语调依赖性的关键影响。为填补这一空白，由首尔大学语音语言处理实验室的Won Ik Cho、Hyeon Seung Lee、Ji Won Yoon、Seok Min Kim及Nam Soo Kim等学者于2018年创建的3i4K数据集应运而生。该数据集以韩语为研究对象，精心收录了日常生活中频繁出现的短句，涵盖天气、交通、家务等多元主题，旨在通过文本与语调特征的双重分析，实现说话者意图的精细化分类。其核心研究问题在于：如何利用句尾语言的语调依赖性，准确区分片段、陈述、疑问、命令、修辞性疑问、修辞性命令及语调依赖语句等七种意图类别。该数据集的提出，不仅为韩语语音理解提供了基准资源，更推动了句尾语言意图识别领域的发展，对语音助手、对话系统等应用具有深远影响。

当前挑战

3i4K数据集所面临的挑战主要体现在两个层面。首先，从领域问题来看，句尾语言中语调的细微变化可能导致意图的截然不同，例如同一文本在上升语调下可能为疑问，而下降语调则可能成为命令，这种语调依赖性使得仅凭文本进行意图分类存在天然局限。其次，在数据集构建过程中，挑战同样显著：初始语料需从国家韩语研究院的常用词汇库中筛选，并人工创建短句，过程耗时且需确保语料的自然性与代表性；标注工作由三位首尔韩语母语者完成，尽管通过明确指南和多数投票机制将标注者间一致性提升至0.85，但七类意图的精细划分仍可能导致边界模糊，尤其修辞性表达与语调依赖语句的区分极易引发歧义；此外，数据规模虽达六万余条，但如何平衡各类别样本分布、避免类别不平衡对模型泛化能力的影响，亦是亟待解决的难题。

常用场景

经典使用场景

3i4K数据集的核心应用场景在于对韩语口语意图的细粒度分类，尤其聚焦于句末语调依赖型话语的识别。该数据集涵盖七类意图标签，包括片段、陈述、疑问、命令、反问、反命令及语调依赖型话语，为研究头尾核心语言中语调对语义的决定性作用提供了标准化基准。研究者通常采用卷积神经网络或双向长短期记忆网络结合注意力机制，基于文本转录进行意图分类，以此探索语言学界长期关注的语调与句法交互难题。

解决学术问题

该数据集着力解决头尾核心语言（如韩语）中口语意图理解的歧义消解问题。传统文本分类方法难以区分依赖语调的语义对立，例如疑问与反问、命令与反命令之间的微妙差异。3i4K通过提供人工标注的高质量语料，使研究者能够量化分析语调依赖型话语的分布规律，并验证深度学习模型对隐式语调特征的捕捉能力。这一工作填补了非屈折语中语调-句法映射研究的空白，推动了计算语用学在东亚语言领域的理论发展。

衍生相关工作

基于3i4K数据集，学界衍生出多项开创性研究。Cho等人（2018）在提出该数据集时，同步验证了BiLSTM-Att模型在七分类任务上的有效性，其F1分数成为后续对比基准。后续工作包括将语调特征显式编码为音高轨迹的端到端模型、融合韩语韵律特征的跨模态分类架构，以及针对低资源语言意图识别的小样本迁移学习方法。这些研究进一步证实了语调依赖型话语在人类-机器交互中的关键作用，并推动了多语言口语理解系统的泛化能力提升。