TigerResearch/dev_pretrain

---
dataset_info:
features:
- name: content
dtype: string
splits:
- name: train
num_bytes: 123238
num_examples: 80
- name: validation
num_bytes: 23072
num_examples: 20
download_size: 96425
dataset_size: 146310
license: apache-2.0
task_categories:
- text-generation
language:
- zh
size_categories:
- n<1K
---
# Dataset Card for "dev_pretrain"

[Tigerbot模型](https://github.com/TigerResearch/TigerBot#%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD)develop pretrain数据。

在[train_clm.py](https://github.com/TigerResearch/TigerBot/blob/main/train/train_clm.py)中被使用。

## Usage
```python
import datasets

ds_sft = datasets.load_dataset('TigerResearch/dev_pretrain')
```

## Field
- content: 语料

数据集信息：
特征字段：
- 字段名称：content，数据类型：字符串
数据集划分：
- 训练集（train）：字节数123238，样本数80
- 验证集（validation）：字节数23072，样本数20
下载大小：96425 字节
数据集总大小：146310 字节
许可证：Apache-2.0
任务类别：文本生成（text-generation）
语言：中文（zh）
样本规模类别：n<1K（样本数少于1000）

# 「dev_pretrain」数据集卡片

本数据集为[TigerBot模型](https://github.com/TigerResearch/TigerBot#%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD)的开发预训练数据。
该数据集已在[train_clm.py](https://github.com/TigerResearch/TigerBot/blob/main/train/train_clm.py)中得到使用。

## 用法
python
import datasets

ds_sft = datasets.load_dataset('TigerResearch/dev_pretrain')

## 字段说明
- content：语料

原始信息汇总

数据集概述

基本信息

• 数据集名称: dev_pretrain
• 许可证: apache-2.0

特征信息

• 特征名称: content
• 数据类型: string

数据分割

• 训练集:
  • 示例数量: 80
  • 数据大小: 123238字节
• 验证集:
  • 示例数量: 20
  • 数据大小: 23072字节

数据集大小

• 下载大小: 96425字节
• 总数据大小: 146310字节

任务类别

• 任务类型: text-generation

语言信息

• 语言: 中文 (zh)

数据集规模

• 规模分类: 小于1千 (n<1K)