nayohan/parallel_enko_feedback_collection_full
收藏Hugging Face2024-05-20 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/nayohan/parallel_enko_feedback_collection_full
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含英语和韩语的平行语料，每个句子都有来源和类别的标注，并且包含了英语和韩语句子的token长度信息。数据集分为训练集、验证集和测试集，分别包含97712、500和500个样本。此外，数据集还过滤掉了翻译数据集中重复的1240个句子，最终样本数量从99,952减少到98,712。
该数据集包含英语和韩语的平行语料，每个句子都有来源和类别的标注，并且包含了英语和韩语句子的token长度信息。数据集分为训练集、验证集和测试集，分别包含97712、500和500个样本。此外，数据集还过滤掉了翻译数据集中重复的1240个句子，最终样本数量从99,952减少到98,712。
提供机构：
nayohan
原始信息汇总
数据集概述
数据集特征
- english: 数据类型为字符串
- korean: 数据类型为字符串
- from: 数据类型为字符串
- category: 数据类型为字符串
- en_token_len: 数据类型为整数
- ko_token_len: 数据类型为整数
数据集划分
- train:
- 数据量: 460075503.2127421 字节
- 样本数: 97712
- valid:
- 数据量: 2354242.5864414917 字节
- 样本数: 500
- test:
- 数据量: 2354242.5864414917 字节
- 样本数: 500
数据集大小
- 下载大小: 243869812 字节
- 数据集总大小: 464783988.3856251 字节
数据文件配置
- config_name: default
- data_files:
- train: 路径为 data/train-*
- valid: 路径为 data/valid-*
- test: 路径为 data/test-*
