Felladrin/ChatML-ultrachat_200k
收藏Hugging Face2024-02-25 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Felladrin/ChatML-ultrachat_200k
下载链接
链接失效反馈官方服务：
资源简介：
---
language:
- en
license: mit
size_categories:
- 100K<n<1M
task_categories:
- text-generation
pretty_name: UltraChat 200k
---
[HuggingFaceH4/ultrachat_200k](https://huggingface.co/datasets/HuggingFaceH4/ultrachat_200k) in ChatML format, ready to use in [HuggingFace TRL's SFT Trainer](https://huggingface.co/docs/trl/main/en/sft_trainer).
Python code used for conversion:
```python
from datasets import load_dataset
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Felladrin/Llama-160M-Chat-v1")
dataset = load_dataset("HuggingFaceH4/ultrachat_200k", split="train_sft")
def format(columns):
return { "text": tokenizer.apply_chat_template(columns["messages"], tokenize=False) }
dataset.map(format).select_columns(['text', 'prompt', 'prompt_id']).to_parquet("train.parquet")
```
提供机构：
Felladrin
原始信息汇总
数据集概述
基本信息
- 语言: 英语
- 许可证: MIT
- 数据集大小: 100K<n<1M
- 任务类别: 文本生成
- 数据集名称: UltraChat 200k
数据集格式
- 数据集以ChatML格式提供，适用于HuggingFace TRLs SFT Trainer。
数据处理代码
以下Python代码用于数据集的转换：
python from datasets import load_dataset from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Felladrin/Llama-160M-Chat-v1")
dataset = load_dataset("HuggingFaceH4/ultrachat_200k", split="train_sft")
def format(columns): return { "text": tokenizer.apply_chat_template(columns["messages"], tokenize=False) }
dataset.map(format).select_columns([text, prompt, prompt_id]).to_parquet("train.parquet")
