jtatman/medical-sci-instruct-100k-sharegpt-chatml

该数据集是为Mistral训练重新格式化的，添加了chatml标记和结束序列标记<|endoftext|>。数据集包含文本、输入ID和注意力掩码等特征，分为训练集，包含96557个样本，总大小为1071589710字节。下载大小为82474918字节，数据集大小为1071589710字节。许可证为MIT，大小类别为10K<n<100K。

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 类型为字符串
  • input_ids: 序列类型为整数32位
  • attention_mask: 序列类型为整数8位
• 分割:
  • train: 字节数为1071589710，样本数为96557
• 下载大小: 82474918字节
• 数据集大小: 1071589710字节
• 配置:
  • default: 数据文件路径为data/train-*
• 许可证: MIT
• 大小分类: 10K<n<100K

数据集格式

• 该数据集是为Mistral训练重新格式化的，添加了chatml标记和<|endoftext|>作为序列结束标记。
• max_length设置可能需要调整以包含额外的标记进行训练。
• max_length从2048调整为2030，以增加额外空间。