TigerResearch/dev_pretrain

--- dataset_info: features: - name: content dtype: string splits: - name: train num_bytes: 123238 num_examples: 80 - name: validation num_bytes: 23072 num_examples: 20 download_size: 96425 dataset_size: 146310 license: apache-2.0 task_categories: - text-generation language: - zh size_categories: - n<1K --- # Dataset Card for "dev_pretrain" [Tigerbot模型](https://github.com/TigerResearch/TigerBot#%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD)develop pretrain数据。 在[train_clm.py](https://github.com/TigerResearch/TigerBot/blob/main/train/train_clm.py)中被使用。 ## Usage ```python import datasets ds_sft = datasets.load_dataset('TigerResearch/dev_pretrain') ``` ## Field - content: 语料数据集信息： 特征字段： - 字段名称：content，数据类型：字符串 数据集划分： - 训练集（train）：字节数123238，样本数80 - 验证集（validation）：字节数23072，样本数20 下载大小：96425 字节 数据集总大小：146310 字节 许可证：Apache-2.0 任务类别：文本生成（text-generation） 语言：中文（zh） 样本规模类别：n<1K（样本数少于1000） # 「dev_pretrain」数据集卡片 本数据集为[TigerBot模型](https://github.com/TigerResearch/TigerBot#%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD)的开发预训练数据。 该数据集已在[train_clm.py](https://github.com/TigerResearch/TigerBot/blob/main/train/train_clm.py)中得到使用。 ## 用法 python import datasets ds_sft = datasets.load_dataset('TigerResearch/dev_pretrain') ## 字段说明 - content：语料

原始信息汇总

数据集概述

基本信息

• 数据集名称: dev_pretrain
• 许可证: apache-2.0

特征信息

• 特征名称: content
• 数据类型: string

数据分割

• 训练集:
  • 示例数量: 80
  • 数据大小: 123238字节
• 验证集:
  • 示例数量: 20
  • 数据大小: 23072字节

数据集大小

• 下载大小: 96425字节
• 总数据大小: 146310字节

任务类别

• 任务类型: text-generation

语言信息

• 语言: 中文 (zh)

数据集规模

• 规模分类: 小于1千 (n<1K)