cgpotts/swda|对话行为分类数据集|自然语言处理数据集

Switchboard对话行为语料库（SwDA）是对Switchboard-1电话语音语料库第2版的扩展，增加了对话行为标签，总结了与每个对话相关的句法、语义和语用信息。该语料库由UC Boulder在90年代末期创建，主要用于英语对话行为分类研究。数据集包含多种特征，如对话行为标签、呼叫者信息、对话编号等，并分为训练、验证和测试集。数据集遵循cc-by-nc-sa-3.0许可协议。

原始信息汇总

数据集概述

数据集基本信息

• 名称: The Switchboard Dialog Act Corpus (SwDA)
• 语言: 英语
• 许可证: cc-by-nc-sa-3.0
• 多语言性: 单语种
• 大小类别: 100K<n<1M
• 源数据集: 扩展自Switchboard-1 Telephone Speech Corpus, Release 2
• 任务类别: 文本分类
• 任务ID: 多标签分类

数据集结构

• 数据实例: 包含多个字段，如swda_filename, ptb_basename, conversation_no, transcript_index, act_tag等。
• 数据字段:
  • swda_filename: 文件名
  • ptb_basename: 树库文件名
  • conversation_no: 对话ID
  • transcript_index: 转录文本中的行号
  • act_tag: 对话行为标签
  • damsl_act_tag: 对话行为标签的217种变体
  • caller: 呼叫者标识
  • utterance_index: 话语索引
  • subutterance_index: 子话语索引
  • text: 话语文本
  • pos: 词性标注
  • trees: 树结构
  • ptb_treenumbers: 树编号
  • talk_day: 谈话日期
  • length: 谈话时长
  • topic_description: 话题描述
  • prompt: 提示信息
  • from_caller 至 to_caller_dialect_area: 呼叫者相关信息

数据分割

• 训练集: 213543个样本，大小为128498512字节
• 验证集: 56729个样本，大小为34749819字节
• 测试集: 4514个样本，大小为2560127字节

数据集创建

• 来源数据: 扩展自Switchboard-1 Telephone Speech Corpus, Release 2
• 注释: 包含对话行为标签，用于总结与话语相关的句法、语义和语用信息

使用数据注意事项

• 数据集不包含Switchboard的元数据表，需额外获取
• 数据集与Penn Treebank 3的解析资源对齐不直接，需进一步处理