larryvrh/CCMatrix-v1-Ja_Zh-filtered

经过过滤和修改的日语/中文语言对数据，来自CCMatrix v1。处理步骤包括基本的基于正则表达式的过滤/长度检查，以删除异常对；基于sentence-transformers/LaBSE的语义相似性过滤，阈值为0.6；使用zhconv将所有繁体中文句子转换为简体中文。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • ja: 字符串类型
  • zh: 字符串类型
• 分割:
  • train: 847526347 字节, 5686275 样本
• 下载大小: 651183008 字节
• 数据集大小: 847526347 字节
• 任务类别: 翻译
• 语言: 中文, 日语
• 易读名称: cc

处理步骤

1. 基本的基于正则表达式的过滤/长度检查，以删除异常对。
2. 基于 sentence-transformers/LaBSE 的语义相似性过滤，阈值为0.6。
3. 使用 zhconv 将所有繁体中文句子转换为简体中文。