BAAI-MTP

MTP由总计3亿条中英文关联文本对构成

搜集汇总

背景与挑战

背景概述

BAAI-MTP（Massive Text Pairs）是一个大规模中英文关联文本对数据集，由北京智源人工智能研究院构建并开源。该数据集包含总计3亿条文本对，其中中文记录1亿条，英文记录2亿条，是目前开源的最大规模中英文关联文本对数据集，主要用于训练中英文语义向量模型。数据集以JSON格式存储，每条记录包含查询语句（query）、正样本列表（pos）和负样本列表（neg）。