kaiokendev/SuperCOT-dataset
收藏Hugging Face2023-05-26 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/kaiokendev/SuperCOT-dataset
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是多个现有数据集的组合，包括QingyiSi/Alpaca-CoT、neulab/conala和yahma/alpaca-cleaned。这些数据集涉及链式思维问答、代码片段和GPT4生成的Alpaca数据。
该数据集是多个现有数据集的组合，包括QingyiSi/Alpaca-CoT、neulab/conala和yahma/alpaca-cleaned。这些数据集涉及链式思维问答、代码片段和GPT4生成的Alpaca数据。
提供机构：
kaiokendev
原始信息汇总
数据集概述
数据集组成
- Chain of thought QED
- Chain of thought Aqua
- CodeAlpaca
- Code snippets
- Alpaca GPT4
训练参数
- Epochs: 3
- Learning Rate: 3e-4
- Lora Rank: 8
- Lora Alpha: 16
- Lora Dropout: 0.05 for cutoff 1024 13B, otherwise no dropout due to gradient checkpointing
- Masking: None
- MBatch Size: 4 (1 for 30B)
- Batch Size: 8 (2 for 30B)
- Val Set Size: 0.2
- SDP Implementation: xformers
- Optimizer: AdamW
- Eval Strategy: None
许可证
- License: MIT
