llm-book/aio-passages-bpr-bert-base-japanese-v3

这是用于书籍《大規模言語モデル入門》中的“AI王”竞赛的段落数据集，并应用了BPR的段落嵌入。该数据集在原有的llm-book/aio-passages数据集基础上，增加了由llm-book/bert-base-japanese-v3-bpr-passage-encoder生成的段落二进制向量，存储在`embeddings`字段中。

原始信息汇总

数据集概述

基本信息

• 语言: 日语 (ja)
• 大小: 1M<n<10M
• 许可证:
  • 知识共享署名-相同方式共享 3.0 (CC BY-SA 3.0)
  • GNU自由文档许可证 (GFDL)

数据集结构

• 特征:
  • id: int32
  • pageid: int32
  • revid: int32
  • text: string
  • section: string
  • title: string
  • embeddings: sequence (uint8)

数据集分割

• 训练集:
  • 数据量: 3483313719 字节
  • 样本数: 4288198

下载信息

• 下载大小: 2160522807 字节
• 数据集大小: 3483313719 字节