msislam/marc-code-mixed-encodings

---
dataset_info:
features:
- name: input_ids
sequence: int64
- name: attention_mask
sequence: int64
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 245408208
num_examples: 60000
- name: test
num_bytes: 20286240
num_examples: 5000
- name: validation
num_bytes: 20286240
num_examples: 5000
download_size: 27474371
dataset_size: 285980688
---
# Dataset Card for "marc-multilingual-encodings-v4"
# marc-code-mixed-small

These encodings are based on the review_tokens of [msislam/marc-code-mixed-small](https://huggingface.co/datasets/msislam/marc-code-mixed-small).

It contains German (DE), English (EN), Spanish (ES), and French (FR) languages.

The labels are 0 (DE), 1 (EN), 2 (ES), and 3 (FR).

Each review contains all four languages.

Total number of tokens:
* In training set: 10195342
* In test set: 842760
* In validation set: 842760

The encodings are created using the tokenizer [xlm-roberta-base](https://huggingface.co/xlm-roberta-base).

原始信息汇总

数据集概述

数据集名称

• 名称: marc-multilingual-encodings-v4

数据集特征

• 特征列表:
  • input_ids: 序列类型为 int64
  • attention_mask: 序列类型为 int64
  • labels: 序列类型为 int64

数据集分割

• 训练集:
  • 样本数量: 60000
  • 存储大小: 245408208 字节
• 测试集:
  • 样本数量: 5000
  • 存储大小: 20286240 字节
• 验证集:
  • 样本数量: 5000
  • 存储大小: 20286240 字节

数据集大小

• 下载大小: 27474371 字节
• 数据集总大小: 285980688 字节

语言和标签

• 支持语言: 德语 (DE), 英语 (EN), 西班牙语 (ES), 法语 (FR)
• 标签定义:
  • 0: 德语 (DE)
  • 1: 英语 (EN)
  • 2: 西班牙语 (ES)
  • 3: 法语 (FR)

数据集内容

• 每条评论包含语言: 德语, 英语, 西班牙语, 法语
• 各分割集中的令牌总数:
  • 训练集: 10195342
  • 测试集: 842760
  • 验证集: 842760

编码方式

• 使用的Tokenizer: xlm-roberta-base