yuyang/bart_newsroom

该数据集是Hugging Face的newsroom数据集的修改版本，旨在复现BART模型的结果。主要修改包括：将文本中的

替换为一个空格，移除HTML相关标签和latin1编码字符的摘要，以及移除不必要的数据特征。这些修改的目的是解决原始数据中摘要数据导致的预测异常和预测数量与参考数量不匹配的问题。

原始信息汇总

数据集概述

数据集来源

• 本数据集是对Hugging Face平台上的newsroom数据集的修改版本。

主要修改内容

1. 将文本中的"

"替换为一个空格。 2. 移除HTML相关标签，并移除摘要中的latin1编码字符。 3. 删除不必要的数据特征。

修改目的

• 修改的主要动机是为了解决原始数据中，特别是摘要数据，导致预测结果异常且涉及多行，从而使得预测数量与参考数量不匹配的问题。

许可证

• 本数据集遵循MIT许可证。