sedthh/tv_dialogue

--- dataset_info: features: - name: TEXT dtype: string - name: METADATA dtype: string - name: SOURCE dtype: string splits: - name: train num_bytes: 211728118 num_examples: 2781 download_size: 125187885 dataset_size: 211728118 license: mit task_categories: - conversational - text2text-generation - text-generation language: - en tags: - OpenAssistant - transcripts - subtitles - television pretty_name: TV and Movie dialogue and transcript corpus size_categories: - 1K<n<10K --- # Dataset Card for "tv_dialogue" This dataset contains transcripts for famous movies and TV shows from multiple sources. An example dialogue would be: ``` [PERSON 1] Hello [PERSON 2] Hello Person 2! How's it going? (they are both talking) [PERSON 1] I like being an example on Huggingface! They are examples on Huggingface. CUT OUT TO ANOTHER SCENCE We are somewhere else [PERSON 1 (v.o)] I wonder where we are? ``` All dialogues were processed to follow this format. Each row is a single episode / movie (**2781** rows total) following the [OpenAssistant](https://open-assistant.io/) format. The METADATA column contains dditional information as a JSON string. ## Dialogue only, with some information on the scene | Show | Number of scripts | Via | Source | |----|----|---|---| | Friends | 236 episodes | https://github.com/emorynlp/character-mining | friends/emorynlp | | The Office | 186 episodes | https://www.kaggle.com/datasets/nasirkhalid24/the-office-us-complete-dialoguetranscript | office/nasirkhalid24 | | Marvel Cinematic Universe | 18 movies | https://www.kaggle.com/datasets/pdunton/marvel-cinematic-universe-dialogue | marvel/pdunton | | Doctor Who | 306 episodes | https://www.kaggle.com/datasets/jeanmidev/doctor-who | drwho/jeanmidev | | Star Trek | 708 episodes | http://www.chakoteya.net/StarTrek/index.html based on https://github.com/GJBroughton/Star_Trek_Scripts/ | statrek/chakoteya | ## Actual transcripts with detailed information on the scenes | Show | Number of scripts | Via | Source | |----|----|---|---| | Top Movies | 919 movies | https://imsdb.com/ | imsdb | | Top Movies | 171 movies | https://www.dailyscript.com/ | dailyscript | | Stargate SG-1 | 18 episodes | https://imsdb.com/ | imsdb | | South Park | 129 episodes | https://imsdb.com/ | imsdb | | Knight Rider | 80 episodes | http://www.knightriderarchives.com/ | knightriderarchives |数据集信息： 特征： - 名称：TEXT，数据类型：字符串 - 名称：METADATA，数据类型：字符串 - 名称：SOURCE，数据类型：字符串 数据划分： - 划分名称：训练集，字节数：211728118，样本数：2781 下载大小：125187885 字节 数据集总大小：211728118 字节 许可证：MIT 任务类别： - 对话式任务 - 文本到文本生成 - 文本生成 语言：英语 标签： - OpenAssistant - 转录文本（transcripts） - 字幕（subtitles） - 电视剧（television） 友好展示名称：影视对白与脚本语料库 样本规模类别：1000 < 样本数 < 10000 --- # "tv_dialogue" 数据集卡片 本数据集收录了来自多渠道的知名电影与电视剧的脚本与对白文本。 一段示例对白如下： [角色1] 你好 [角色2] 你好，角色2！ 最近怎么样？ （二人正在对话） [角色1] 我很乐意成为Huggingface平台上的示例。 他们都是Huggingface平台上的示例。 镜头切换至另一场景 我们现在身处别处 [角色1（旁白）] 我想知道我们在哪儿？ 所有对白均已按照上述格式进行标准化处理。数据集每一行对应单集电视剧或一部电影，总计2781行，整体遵循[OpenAssistant](https://open-assistant.io/)格式。其中METADATA列以JSON字符串形式存储额外信息。 ## 仅对白版：附带部分场景信息 | 影视名称 | 脚本数量 | 获取渠道 | 数据集标识 | |----|----|---|---| | 《老友记》 | 236集 | https://github.com/emorynlp/character-mining | friends/emorynlp | | 《办公室（美版）》 | 186集 | https://www.kaggle.com/datasets/nasirkhalid24/the-office-us-complete-dialoguetranscript | office/nasirkhalid24 | | 漫威电影宇宙 | 18部电影 | https://www.kaggle.com/datasets/pdunton/marvel-cinematic-universe-dialogue | marvel/pdunton | | 《神秘博士》 | 306集 | https://www.kaggle.com/datasets/jeanmidev/doctor-who | drwho/jeanmidev | | 《星际迷航》 | 708集 | http://www.chakoteya.net/StarTrek/index.html 基于 https://github.com/GJBroughton/Star_Trek_Scripts/ | statrek/chakoteya | ## 完整脚本版：附带详细场景信息 | 影视名称 | 脚本数量 | 获取渠道 | 数据集标识 | |----|----|---|---| | 热门电影 | 919部 | https://imsdb.com/ | imsdb | | 热门电影 | 171部 | https://www.dailyscript.com/ | dailyscript | | 《星际之门：SG-1》 | 18集 | https://imsdb.com/ | imsdb | | 《南方公园》 | 129集 | https://imsdb.com/ | imsdb | | 《霹雳游侠》 | 80集 | http://www.knightriderarchives.com/ | knightriderarchives |

原始信息汇总

数据集概述

基本信息

• 名称: TV and Movie dialogue and transcript corpus
• 别名: tv_dialogue
• 语言: 英语 (en)
• 任务类别:
  • 对话式
  • 文本到文本生成
  • 文本生成
• 标签:
  • OpenAssistant
  • 转录
  • 字幕
  • 电视
• 许可证: MIT
• 大小类别: 1K<n<10K

数据集结构

• 特征:
  • TEXT: 字符串类型
  • METADATA: 字符串类型
  • SOURCE: 字符串类型
• 分割:
  • train: 2781个示例，总字节数211728118
• 下载大小: 125187885字节
• 数据集大小: 211728118字节

内容描述

• 内容类型: 电影和电视节目的对话及转录文本
• 示例格式: 每个对话包含人物标识和对话内容，如[PERSON 1] Hello
• 数据量: 总共2781个条目，每个条目代表一个剧集或电影
• 元数据: METADATA列包含JSON格式的额外信息

数据源

• 电视剧集:
  • Friends: 236 episodes
  • The Office: 186 episodes
  • Doctor Who: 306 episodes
  • Star Trek: 708 episodes
• 电影:
  • Marvel Cinematic Universe: 18 movies
• 其他:
  • Top Movies: 919 movies
  • South Park: 129 episodes
  • Knight Rider: 80 episodes

搜集汇总

数据集介绍

构建方式

在影视对话数据集的构建领域，高质量的语料资源对于对话系统的训练至关重要。该数据集通过整合多个公开来源的影视剧剧本与字幕，构建了一个包含2781条样本的对话语料库。每条样本对应一集电视剧或一部电影，文本经过统一格式化处理，遵循OpenAssistant的标准格式，以[PERSON]标签标识说话者，并保留场景描述信息。METADATA字段以JSON字符串形式存储额外的元数据，SOURCE字段则标注了数据的原始来源，如来自emorynlp的《老友记》脚本或来自Kaggle的《星际迷航》转录文本。

使用方法

该数据集主要面向对话生成与文本生成任务，可被直接用于训练或微调对话式语言模型。在使用时，用户可通过HuggingFace的datasets库加载数据集，并利用TEXT字段作为输入文本进行序列到序列或自回归式训练。对于需要元数据信息的场景，可解析METADATA字段中的JSON内容以获取额外上下文。建议将数据按8:2比例划分为训练集与验证集，并注意不同来源的剧本格式差异，必要时可对场景描述进行过滤或标准化处理，以适配具体的下游任务需求。

背景与挑战

背景概述

在自然语言处理领域，对话系统与文本生成任务的发展高度依赖高质量、多样化的对话数据集。tv_dialogue数据集应运而生，由研究人员收集整理自多部知名影视剧的剧本与字幕，涵盖《老友记》《办公室》《神秘博士》等经典作品及大量电影脚本，总计2781条记录。该数据集发布于HuggingFace平台，遵循MIT许可协议，旨在为开放助手（OpenAssistant）格式的对话建模提供丰富资源。其核心研究问题在于如何利用影视剧本中的多角色交互、场景切换等复杂对话结构，提升对话生成模型的自然度与上下文理解能力。该数据集填补了影视领域大规模对话语料的空白，对多轮对话生成、角色风格迁移等研究方向具有重要推动作用。

当前挑战

tv_dialogue数据集面临多重挑战。首先，在领域问题层面，影视对话包含大量非连续场景切换、旁白（如v.o.）及动作描述，与日常自然对话存在结构性差异，模型需学习区分对话与非对话元素，这对文本生成任务构成显著干扰。其次，构建过程中，数据来源多样（如Kaggle、IMSDB等），格式标准化难度高，需统一为OpenAssistant格式并剔除冗余信息，但部分来源的元数据（如场景描述）可能丢失或不一致，影响数据质量。此外，数据规模有限（2781条），且分布不均（如《星际迷航》占708集），可能导致模型对高频剧集过拟合，降低泛化能力。

常用场景

经典使用场景

在对话系统与自然语言处理领域，tv_dialogue数据集汇聚了来自经典影视作品与电视节目的对话转录文本，涵盖《老友记》、《办公室》、《星际迷航》等知名作品。其经典使用场景在于为研究者提供大规模、多风格的日常对话语料，用于训练和评估对话生成模型。数据集以OpenAssistant格式标准化，每一行对应一集或一部电影，包含场景元数据，便于模型学习对话的上下文结构、角色互动模式以及口语化表达，从而提升对话系统的自然度与连贯性。

解决学术问题

该数据集着力解决对话语料匮乏与风格单一这一学术瓶颈。传统对话数据集往往局限于特定领域或人工构建，缺乏真实交流中的多样性与复杂性。tv_dialogue通过整合多源影视剧本，提供了涵盖幽默、冲突、情感转折等丰富场景的对话样本，助力学者研究角色建模、对话状态追踪、语用推理等前沿课题。其意义在于推动了从规则驱动到数据驱动的对话系统范式转变，为评估模型在开放域对话中的泛化能力奠定了坚实基础。

实际应用

在实际应用中，tv_dialogue数据集被广泛用于开发智能客服、虚拟助手与互动娱乐系统。例如，影视制作公司可利用其训练剧本生成工具，辅助编剧快速构建角色对白；教育科技领域则借助其构建语言学习应用，通过模拟影视场景提升学习者的口语交际能力。此外，该数据集还支撑了多轮对话系统的商业化落地，如智能音箱的闲聊功能与社交机器人的情感交互，显著增强了人机对话的沉浸感与实用性。

数据集最近研究

最新研究方向

当前，tv_dialogue数据集在自然语言处理领域的前沿研究聚焦于多模态对话理解与生成，尤其是在影视剧本的语义解析和人物交互建模方面。该数据集整合了《老友记》《星际迷航》等经典剧集及漫威电影的完整对话脚本，为研究场景化对话逻辑、角色语言风格迁移及长文本上下文连贯性提供了丰富语料。结合OpenAssistant格式的元数据标注，研究者正探索如何利用电视对话中的场景切换、旁白等非纯文本信息，提升对话系统在复杂叙事环境下的情感识别与意图推理能力。这一方向与近期大语言模型在影视剧本自动生成、智能配音等热点应用紧密相关，推动了从静态对话数据集到动态叙事理解的范式演进，对提升AI在创意内容领域的协作潜力具有重要价值。