sentence-transformers/agnews

AGNews数据集是一个从AGNews收集的标题-描述对的集合。该数据集可以直接用于Sentence Transformers来训练嵌入模型。数据集的子集`pair`包含两列：title和description，列类型均为字符串。示例展示了标题和描述的具体内容。数据集的收集策略是从embedding-training-data中读取AG News数据集，且未进行去重处理。

原始信息汇总

数据集概述

基本信息

• 名称: AGNews
• 语言: 英语
• 多语言性: 单语
• 大小: 1M<n<10M
• 任务类别:
  • 特征提取
  • 句子相似度
• 标签: sentence-transformers

数据集配置

• 配置名称: pair
• 特征:
  • 名称: title
    • 数据类型: string
  • 名称: description
    • 数据类型: string

数据分割

• 训练集:
  • 字节数: 273864775
  • 示例数: 1157745
  • 下载大小: 203910268
  • 数据集大小: 273864775

数据集子集

• 子集名称: pair

  • 列: "title", "description"

  • 列类型: str, str

  • 示例: python { title: Helicopter Crashes in Colombian Drug War, Kills 20, description: BOGOTA, Colombia - A U.S.-made helicopter on an anti-drugs mission crashed in the Colombian jungle on Thursday, killing all 20 Colombian soldiers aboard, the army said., }

  • 收集策略: 从embedding-training-data读取AG News数据集

  • 去重: 否

搜集汇总

背景与挑战

背景概述

该数据集包含约116万条英文新闻标题和描述的配对文本，源自AG News语料库，主要用于训练句子嵌入模型。数据以parquet格式存储，是Sentence Transformers系列的标准训练数据集之一。