AnonymousSubmission9090/llama-alpaca

该数据集是经典`tatsu-lab/alpaca数据集`的蒸馏版本。它使用`Meta-Llama-3.1-8B-Instruct`作为答案生成模型，为原始52,000条指令生成高质量、遵循指令的响应。主要目标是提供一组与Llama 3.1分布对齐的响应，用于压缩后的模型重新对齐。--- dataset_info: 数据集信息: features: - 字段名称: id 数据类型: int64 - 字段名称: retry_count 数据类型: int64 - 字段名称: instruction 数据类型: 字符串 - 字段名称: input 数据类型: 字符串 - 字段名称: output_llama 数据类型: 字符串 - 字段名称: output_original 数据类型: 字符串 - 字段名称: text 数据类型: 字符串 splits: - 划分名称: train 字节数: 326255925 样本数量: 156006 下载大小: 114063900 数据集总大小: 326255925 configs: - 配置名称: default 数据文件: - 划分: train 路径: data/train-* language: - en size_categories: - 100K<n<1M --- # Alpaca-Llama3.1-KD 数据集卡片 ## 数据集概述 本数据集是经典`tatsu-lab/alpaca`数据集的蒸馏版本。本数据集以`Meta-Llama-3.1-8B-Instruct`作为答案生成模型，为原始的52000条指令生成高质量的指令遵循响应。 本数据集的核心目标是提供一组符合Llama 3.1分发规范的响应，用于模型压缩后的重新对齐。 ## 数据集结构 数据集中的每条条目对应Alpaca的单条提示，并补充了Llama 3.1生成的响应。针对每条原始提示，会生成3个不同版本（重试版本）以提升多样性。 - `id`：原始提示的唯一标识符。 - `retry_count`：对应特定提示的迭代索引（取值范围0-2）。 - `instruction`：提供给模型的任务或问题。 - `input`：用于辅助指令执行的可选上下文或数据。 - `output_llama`：由`Meta-Llama-3.1-8B-Instruct`生成的合成响应。 - `output_original`：来自`tatsu-lab/alpaca`数据集的原始响应（由GPT-3.5生成）。 - `text`：用于提示教师模型（teacher model）的完整格式化提示字符串（包含系统提示与对话模板）。 ## 生成方法 本数据集通过以下技术方案构建： - `meta-llama/Meta-Llama-3.1-8B-Instruct` 模板：脚本从原始Alpaca的`text`字段中动态提取系统提示，并应用官方Llama 3.1对话模板。 采样参数： - 温度（Temperature）：0.7 - Top-p采样：0.9 - 重复惩罚（Repetition Penalty）：1.1 - 最大生成新Token（Token）数：1024 - 硬件：采用bfloat16精度生成以保证数值稳定性。 ## 提示模板 模型使用以下结构进行提示： Plaintext <|begin_of_text|><|start_header_id|>system<|end_header_id|> {extracted_alpaca_system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|> ### Instruction: {instruction} ### Input: {input} ### Response:<|eot_id|><|start_header_id|>assistant<|end_header_id|>