RealNews

RealNews是来自Common Crawl的大量新闻文章。数据是从通用爬网中抓取的，仅限于Google新闻索引的5000新闻域。作者使用报纸Python库从每篇文章中提取正文和元数据。从2016年12月到2019年3月的常见爬网转储的新闻被用作训练数据; 2019年4月转储2019年4月发表的文章被用于评估。重复数据删除后，RealNews在没有压缩的情况下120千兆字节。