alfredplpl/wikipedia-simple-ja-500k

该数据集名为wikipedia-simple-ja-500k，是基于hpprc/wikipedia-20240101数据集处理得到的。处理过程包括从数据集中提取标题的第一行，并使用LLM（CALM 2 7B Chat）通过RAG-like提示生成摘要。数据集的特征包括id、url、title和text，主要用于摘要任务，语言为日语。数据集包含一个训练集，大小为129643127字节，包含516932个例子。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • id: 字符串类型
  • url: 字符串类型
  • title: 字符串类型
  • text: 字符串类型
• 分割:
  • train: 包含129,643,127字节，516,932个样本
• 下载大小: 64,505,805字节
• 数据集大小: 129,643,127字节
• 配置:
  • default: 数据文件路径为data/train-*
• 许可证: cc-by-sa-3.0
• 任务类别: 摘要生成
• 语言: 日语

数据集处理步骤

• 从数据集中提取标题的第一行。
• 使用LLM生成答案，通过总结该行内容：
  • 输入类似RAG的提示到CALM 2 7B Chat。
  • 格式化响应。

RAG-like 提示

python f"""USER: {title}とはなんですか？次の文章を参考に一言でまとめてください。{text} ASSISTANT: """