ccw7463/Ko_Summary_ver0.2

该数据集包含多个特征，如类别、指令、输入、输出、参考和上下文。数据集分为训练集，包含109,890个样本，总大小为289,710,163字节。数据集的来源包括daekeun-ml/naver-news-summarization-ko和Laplace04/KoreanSummarizeAiHub。数据预处理包括格式化更改。示例展示了一个关于新闻摘要的样本，其中包含输入文本和相应的摘要输出。

原始信息汇总

数据集概述

数据集特征

• category：字符串类型
• instruction：字符串类型
• input：字符串类型
• output：字符串类型
• ref：字符串类型
• context：字符串类型

数据集划分

• train：
  • 数据量：289710163.0 字节
  • 示例数量：109890

数据集大小

• 下载大小：160899720字节
• 数据集总大小：289710163.0字节

配置信息

• config_name：default
• data_files：
  • split：train
  • path：data/train-*

数据集来源

• daekeun-ml/naver-news-summarization-ko：27400个样本
• Laplace04/KoreanSummarizeAiHub：82490个样本

预处理步骤

• 所有数据：更改格式

示例

python {category: summary, instruction: 다음 내용을 요약해주세요., input: "NO JAPAN 운동이 의류, 화장품, 장난감 등 일상생활 전반으로 확산되는 가운데에서도 당당히 고개를 내밀고 있는 일본산이 있습니다. 바로 수산물입니다. 부산 자갈치 시장에서는 알이 굵은 일본산 멍게가 알이 작은 국산보다 비싼 값에 판매되고 있고 가리비도 수십 톤씩 들여와 팔리고 있습니다. 원산지 세탁을 통해 국내산으로 둔갑한 일본산까지 포함하면 우리가 먹는 수산물 중 일본산이 얼마나 포함되었는지 알 수 없는 게 현실입니다. 일본산이 국내산으로 둔갑하는 원산지 세탁이 만연한 가운데, 최근 들어서는 방사능 검사가 제대로 이뤄지지 않은 채 국내를 활보하는 일본 활어차가 시민들의 불안을 가중시키고 있습니다. 국내산의 탈을 쓴 일본 수산물과 방사능 불안을 안고 달리는 일본 활어차를 추적합니다.", output: 원산지 세탁을 통해 국내산으로 둔갑한 일본산까지 포함하면 우리가 먹는 수산물 중 일본산이 얼마나 포함되었는지 알 수 없는 게 현실입니다. 일본산이 국내산으로 둔갑하는 원산지 세탁이 만연한 가운데, 최근 들어서는 방사능 검사가 제대로 이뤄지지 않은 채 국내를 활보하는 일본 활어차가 시민들의 불안을 가중시키고 있습니다., ref: Laplace04/KoreanSummarizeAiHub, url : None, context: }