AlphaRandy/Discord_Data
收藏Hugging Face2024-07-03 更新2024-07-06 收录
下载链接：
https://hf-mirror.com/datasets/AlphaRandy/Discord_Data
下载链接
链接失效反馈官方服务：
资源简介：
from datasets import load_dataset
from trl import SFTTrainer
dataset = load_dataset("imdb", split="train")
trainer = SFTTrainer(
"facebook/opt-350m",
train_dataset=dataset,
dataset_text_field="text",
max_seq_length=512,
)
trainer.train()
提供机构：
AlphaRandy
原始信息汇总
IMDb 数据集
数据集概述
- 名称: IMDb
- 来源: 通过
load_dataset函数从datasets库加载。 - 用途: 用于训练模型，具体用于
SFTTrainer的训练数据。
数据集加载
- 加载方式: 使用
load_dataset("imdb", split="train")加载训练数据集。
数据集字段
- 文本字段:
text
训练配置
- 模型:
facebook/opt-350m - 最大序列长度: 512
