EikESousA/anvisa_instruct_tokenized

---
language:
- pt
license: other
size_categories:
- 1M<n<10M
task_categories:
- text-generation
pretty_name: anvisa_instruct_tokenized
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 80805366840
num_examples: 3033690
- name: test
num_bytes: 799080000
num_examples: 30000
download_size: 24242493429
dataset_size: 81604446840
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
tags:
- portuguese
- language-modeling
---

原始信息汇总

数据集概述

基本信息

• 语言: 葡萄牙语 (pt)
• 许可证: 其他
• 大小: 1M<n<10M
• 任务类别: 文本生成
• 美观名称: anvisa_instruct_tokenized

数据集特征

• 输入ID: 序列类型为int32
• 注意力掩码: 序列类型为int8
• 标签: 序列类型为int64

数据分割

• 训练集:
  • 示例数量: 3033690
  • 字节数: 80805366840
• 测试集:
  • 示例数量: 30000
  • 字节数: 799080000

数据集大小

• 下载大小: 24242493429
• 数据集总大小: 81604446840

配置

• 配置名称: default
• 数据文件路径:
  • 训练集: data/train-*
  • 测试集: data/test-*

标签

• 语言: 葡萄牙语
• 应用领域: 语言建模