philippelaban/hlgd|新闻事件分组数据集|文本分类数据集

HLGD是一个二分类数据集，包含20,056个标记的新闻标题对，用于判断两个标题是否描述同一事件。数据集分为训练集、验证集和测试集（60-20-20）。数据集支持三个挑战任务：仅使用标题文本、使用标题和发布日期、使用标题、发布日期以及其他相关元数据进行预测。数据集由专家生成，语言为英语，包含10个新闻时间线，每个时间线包含80到300篇新闻文章。数据集的目标是促进展示多样化新闻报道的应用程序的开发。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Headline Grouping (HLGD)
• 语言: 英语
• 许可证: Apache 2.0
• 数据集大小: 10K<n<100K
• 多语言性: 单语种
• 源数据: 原始数据
• 任务类别: 文本分类

数据集结构

特征

• timeline_id: 时间线索引，值为0到9
• headline_a, headline_b: 比较的两个新闻标题
• date_a, date_b: 新闻标题的发布日期，格式为YYYY-MM-DD
• url_a, url_b: 新闻标题的原始URL
• label: 标签，1表示两个标题描述同一事件，0表示不同事件

数据分割

• 训练集: 15,492个样本
• 验证集: 2,069个样本
• 测试集: 2,495个样本

数据集创建

数据收集与规范化

• 数据来自NewsLens项目，选择了10个主题多样的新闻时间线，每个时间线包含80到300篇新闻文章。

标注过程

• 每个时间线由5名独立标注者进行标注，最终合并为一个全局组ID。
• 标注者包括论文作者和8名Upwork平台上的众包工作者，这些工作者是母语为英语且有校对或数据录入经验的人。

使用注意事项

数据集的社会影响

• 该数据集旨在促进展示多样新闻覆盖的应用程序。

数据集的偏见

• 标注者偏见：10名标注者参与了数据集的创建，他们的观点和视角影响了数据集的创建。
• 主题偏见：数据集包含来自不同主题（如太空、科技、政治等）的新闻标题。
• 来源选择偏见：数据集包含33个英语新闻来源，这些来源的选择影响了时间线和整体数据集的内容。
• 时间范围偏见：选择的时间线范围从2010年到2020年，这影响了新闻标题的语言和风格。

其他已知限制

• 对于新闻标题分组的任务，标注者间的一致性较高（0.814），但并非完美。某些标题分组的决定是主观的，取决于读者的解释。

附加信息

数据集创建者

• 数据集最初由Philippe Laban, Lucas Bandarkar和Marti Hearst在UC Berkeley创建。

许可证信息

• 数据集仅分发标题、URL和发布日期。用户可以通过查询URL获取额外的信息（如文章内容、作者等）。

引用信息

@inproceedings{Laban2021NewsHG, title={News Headline Grouping as a Challenging NLU Task}, author={Laban, Philippe and Bandarkar, Lucas and Hearst, Marti A}, booktitle={NAACL 2021}, publisher = {Association for Computational Linguistics}, year={2021} }