Replete-AI/Everything_Instruct_8k_context_filtered

Everything Instruct是一个大规模的Alpaca指令格式数据集，涵盖了广泛的主题，旨在提升开源AI的LLM（大型语言模型）性能。数据集未经过滤，意味着训练模型不会拒绝任何请求，除非另有调整。数据集包含多个主题的数据，如科学、社交媒体、常识、烹饪、写作、医学、历史、法律、角色扮演、新闻、编程、数学、函数调用和一般指令等。每个主题的数据行数也被详细列出。数据集的目标是通过提供多样化的数据来帮助开发者在开源AI领域取得突破。

Everything Instruct is a massive alpaca instruct formatted dataset consisting of a wide variety of topics meant to bring LLMs to the next level in open source AI. The dataset is fully uncensored, meaning no model will refuse any request trained on this dataset unless otherwise aligned. It includes data on various topics such as Science, Social media, General Knowledge, Cooking, Writing, Medicine, History, Law, Role-Play, News, Coding, Math, Function calling, and General Instruct, with the number of rows for each topic detailed. The goal of the dataset is to help developers break barriers in open-source AI by providing diverse data.

原始信息汇总

Everything Instruct Filtered by 8k context length by the Qwen2-7b tokenizer

数据集概述

• 语言: 英语
• 标签:
  • Num_Rows = 5,685,816
  • Max_length = 8180
• 描述: 这是一个大规模的Alpaca指令格式数据集，涵盖了广泛的主题，旨在推动开源AI的发展。

数据集内容

• 科学: 12,580行
• 社交媒体: 18,405行
• 常识: 906,346行
• 烹饪: 20,763行
• 写作: 414,646行
• 医学: 36,738行
• 历史: 10,178行
• 法律: 90,394行
• 角色扮演: 433,205行
• 新闻: 124,542行
• 编程: 2,872,975行
• 数学: 262,039行
• 函数调用: 112,960行
• 通用指令: 998,854行

数据来源

• 科学:
  • antiven0m/physical-reasoning-dpoScience
  • LawalAfeez/science-dataset
• 社交媒体:
  • Kyle1668/AG-Tweets
  • euclaise/reddit-instruct-curated
• 常识:
  • NousResearch/CharacterCodex_Characters
  • jstet/quotes-500k_Famous_Quotes
  • FronkonGames/steam-games-dataset_Video_Games
  • totuta_youtube_subs_howto100M_HowTo
• 烹饪:
  • andrewsiah/se_cooking_preference_sft
  • Hieu-Phamkaggle/food_recipes
• 写作:
  • shahules786/PoetryFoundationData
  • euclaise/writingprompts
  • qwedsacf/ivypanda-essaysEssay
• 医学:
  • keivalya/MedQuad-MedicalQnADataset
  • nuvocare/MSD
• 历史:
  • ambrosfitz10k/history_data_v4
• 法律:
  • dzunggg/legal-qa-v1
• 角色扮演:
  • roleplay4/fun_CoupleRP
  • Undi95andrijdavid/roleplay-conversation-sharegpt
• 新闻:
  • RealTimeData/bbc_news_alltime
• 编程:
  • layoric/tiny-codes-alpaca
  • glaiveai/glaive-code-assistant-v3
  • ajibawa-2023/Code-290k-ShareGPT
  • chargoddard/commitpack-ft-instruct-rated
  • iamtarun/code_instructions_120k_alpaca
  • ise-uiuc/Magicoder-Evol-Instruct-110K
  • cognitivecomputations/dolphin-coder
  • nickrosh/Evol-Instruct-Code-80k-v1
  • coseal/CodeUltraFeedback_binarized
  • CyberNative/Code_Vulnerability_Security_DPO
• 数学:
  • TIGER-Lab/MathInstruct
• 函数调用:
  • glaiveai/glaive-function-calling-v2
• 通用指令:
  • teknium/OpenHermes-2.5