Crystalcareai/MoD
收藏Hugging Face2024-03-01 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Crystalcareai/MoD
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是为了训练Qwen1.5-8x7b模型而创建的，包含了多个来源的数据，如Bagel、OpenHermes等，总计约780,000个不同的ShareGPT对话。数据集的目标是鼓励混合专家模型（MoE）发展其独特的专家。尽管在训练过程中遇到了一些挑战，如CUDA错误，但模型表现出了对数据集的适应性，并在初步推理测试中表现出了与Mixtral相当的性能。
该数据集是为了训练Qwen1.5-8x7b模型而创建的，包含了多个来源的数据，如Bagel、OpenHermes等，总计约780,000个不同的ShareGPT对话。数据集的目标是鼓励混合专家模型（MoE）发展其独特的专家。尽管在训练过程中遇到了一些挑战，如CUDA错误，但模型表现出了对数据集的适应性，并在初步推理测试中表现出了与Mixtral相当的性能。
提供机构：
Crystalcareai
原始信息汇总
数据集概述
数据集列表
- jsonifize/Tested-188k-Python-Alpaca_stringified-jsonifize
- Norquinal/WizardLM_alpaca_claude_evol_instruct_70k
- allenai/ai2_arc
- Squish42/bluemoon-fandom-1-1-rp-cleaned
- google/boolq
- LDJnr/Capybara
- mattpscott/airoboros-summarization
- Locutusque/Hercules-v1.0
- lmsys/lmsys-chat-1m
- Muennighoff/natural-instructions
- HuggingFaceH4/no_robots
- grimulkan/PIPPA-augmented-dedup
- euclaise/reddit-instruct
- teknium/OpenHermes-2.5
- ropes
- Open-Orca/SlimOrca-Dedup
- migtissera/Synthia-v1.3
- HuggingFaceH4/ultrachat_200k
- winogrande
- CollectiveCognition/chats-data-2023-09-22
- CollectiveCognition/chats-data-2023-09-27
- CollectiveCognition/chats-data-2023-10-16
- Locutusque/GPT4-LLM-Cleaned-chatml
- Locutusque/GPT4-roleplay-chatml
- Locutusque/GPT4-roleplay-v2-chatml
- Locutusque/WizardLM_evol_instruct_70k_chatml
- Locutusque/camel-chatml
- Locutusque/code-assistant-chatml
- Locutusque/code-assistant-v2-chatml
- Locutusque/dolphin-gpt4-chatml
- Locutusque/function-calling-chatml
- Locutusque/general-instruct-chatml
- Locutusque/lmsys-chat-1m-best
- Locutusque/medtext-chatml
- Locutusque/metamathqa-chatml
- Locutusque/platypus-chatml
- Locutusque/pubmedqa-chatml
- Locutusque/unnatural-instructions-chatml
许可证
- 本数据集遵循Apache-2.0许可证。
