snipaid/snippet-mlsum-500-v2

Snippet-MLSUM-500-V2数据集是从MLSUM数据集中随机抽取的约500篇新闻文章，并增加了机器生成的新闻片段。该数据集支持生成新闻片段的任务，如标题、摘要、关键词、搜索引擎结果页面（SERP）和推文等，且所有内容均为德语。数据集的结构包括文本、标题、摘要、关键词、总结、SERP、推文、URL、日期和主题等特征。数据集的创建过程中，部分特征（如关键词、SERP、总结和推文）是通过GPT-3.5机器生成的，可能存在模型幻觉、刻板印象和毒性等问题。数据集采用MIT许可证。

原始信息汇总

数据集概述

数据集名称

Snippet-MLSUM-500-V2

数据集摘要

本数据集包含约500篇新闻文章的样本，这些文章来自MLSUM数据集，并增加了机器生成的新闻片段。

支持的任务

该数据集旨在支持生成新闻片段的任务，如标题、预告、关键词、SERP和推文等，针对德语新闻文章。

语言

• 德语 (de)

数据集结构

• text: 字符串特征
• title: 字符串特征
• teaser: 字符串特征
• keywords: 字符串特征
• summary: 字符串特征
• serp: 字符串特征
• tweet: 字符串特征
• url: 字符串特征
• date: 字符串特征
• topic: 字符串特征

数据集创建

数据集中的新闻文章是从MLSUM中随机抽取的约500篇文章，按主题平衡。特征如text, title, teaser, url, date和topic直接从MLSUM复制。特征如keywords, serp, summary和tweet由GPT-3.5生成，生成的特征符合发布时的SERP和推文长度限制。

使用数据时的注意事项

已知限制

部分片段数据是机器生成的，这些特征（特别是keywords, serp, summary和tweet）可能显示模型幻觉、刻板印象和毒性。

附加信息

许可信息

本数据集根据MIT许可证授权。