carles-undergrad-thesis/en-id-parallel-sentences-embedding

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: text_en
dtype: string
- name: text_id
dtype: string
- name: target_embedding
sequence: float32
- name: input_ids_en
sequence: int64
- name: attention_mask_en
sequence: int64
- name: input_ids_id
sequence: int64
- name: attention_mask_id
sequence: int64
splits:
- name: train
num_bytes: 11676096944
num_examples: 1000000
download_size: 4112187708
dataset_size: 11676096944
---
# Dataset Card for "en-id-parallel-sentences-embedding"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称：default
数据文件：
- 拆分：训练集（train）
路径：data/train-*
数据集信息：
特征字段：
- 字段名：text_en（英文文本）
数据类型：string（字符串）
- 字段名：text_id（印尼语文本）
数据类型：string（字符串）
- 字段名：target_embedding（目标嵌入）
序列类型：float32（单精度浮点数序列）
- 字段名：input_ids_en（英文输入Token ID序列）
序列类型：int64（64位整数序列）
- 字段名：attention_mask_en（英文注意力掩码序列）
序列类型：int64（64位整数序列）
- 字段名：input_ids_id（印尼语输入Token ID序列）
序列类型：int64（64位整数序列）
- 字段名：attention_mask_id（印尼语注意力掩码序列）
序列类型：int64（64位整数序列）
数据拆分：
- 拆分名称：训练集（train）
字节数：11676096944
样本数量：1000000
下载大小：4112187708
数据集存储大小：11676096944

---
# "en-id-parallel-sentences-embedding"数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集卡片 "en-id-parallel-sentences-embedding"

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
      • 路径: data/train-*

数据集信息

• 特征:

  • 名称: text_en
    • 数据类型: string
  • 名称: text_id
    • 数据类型: string
  • 名称: target_embedding
    • 序列类型: float32
  • 名称: input_ids_en
    • 序列类型: int64
  • 名称: attention_mask_en
    • 序列类型: int64
  • 名称: input_ids_id
    • 序列类型: int64
  • 名称: attention_mask_id
    • 序列类型: int64

• 分割:

  • 名称: train
    • 字节数: 11676096944
    • 样本数: 1000000

• 下载大小: 4112187708

• 数据集大小: 11676096944

搜集汇总

背景与挑战

背景概述

该数据集是一个英语-印度尼西亚语平行句子对数据集，包含100万行数据，总大小约4.11 GB。它不仅提供原始文本对，还预计算了嵌入向量和tokenized序列，适用于跨语言自然语言处理任务，如机器翻译或嵌入模型训练。