bismarck91/enA-frA-tokenised-bc-part2
收藏Hugging Face2025-11-18 更新2025-12-20 收录
下载链接：
https://hf-mirror.com/datasets/bismarck91/enA-frA-tokenised-bc-part2
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: global_tokens_src
sequence:
sequence: int32
- name: semantic_tokens_src
sequence: int64
- name: global_tokens_tgt
sequence:
sequence: int32
- name: semantic_tokens_tgt
sequence: int64
splits:
- name: train
num_bytes: 5683198040.0
num_examples: 1353530
download_size: 1350400478
dataset_size: 5683198040.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
数据集信息：
特征字段：
- 名称：源端全局Token，类型为嵌套32位整数序列
- 名称：源端语义Token，类型为64位整数序列
- 名称：目标端全局Token，类型为嵌套32位整数序列
- 名称：目标端语义Token，类型为64位整数序列
数据集划分：
- 名称：训练集，占用字节数：5683198040.0，样本数量：1353530
下载大小：1350400478字节
数据集总大小：5683198040.0字节
配置项：
- 配置名称：默认配置，数据文件：
- 划分：训练集，路径：data/train-*
提供机构：
bismarck91
