tokyotech-llm/Swallow-Instruct-v0.1

Swallow Instruct v0.1数据集用于Swallow v0.1模型系列的监督微调（SFT）。该数据集包含多个子集，如oasst2-top1-en、oasst1-21k-ja-imitation_alpha和oasst1-21k-ja-imitation_beta，分别包含5,334、21,120和21,035个对话。数据格式为JSON，包含用户和助手之间的对话。数据构建方法包括从OpenAssistant2中提取最高评分的对话，以及使用机器翻译和Mixtral-8x7B-Instruct-v0.1模型生成响应。数据集由东京工业大学Okazaki实验室、YOKOTA实验室和日本产业技术综合研究所人工智能研究中心的研究人员共同创建。

The Swallow Instruct v0.1 dataset is used for supervised fine-tuning of the Swallow v0.1 model series. It includes multiple subsets such as high-rated English dialogues extracted from OpenAssistant2 and Japanese dialogues processed through machine translation and generative models. The data is structured in JSON format, containing user and assistant dialogue turns. This dataset is used to create multiple Instruct models, including the Llama-3-Swallow series.

原始信息汇总

Swallow Instruct v0.1 Dataset

概述

• 用途: 用于Swallow v0.1模型系列的监督微调（SFT）。
• 语言: 包含日语（ja）和英语（en）。
• 数据量: 10K到100K之间。
• 许可证: Apache 2.0。

模型索引

• 使用此数据集创建的模型:
  • Llama-3-Swallow-8B-Instruct-v0.1
  • Llama-3-Swallow-70B-Instruct-v0.1
  • Swallow-7b-instruct-v0.1
  • Swallow-13b-instruct-v0.1
  • Swallow-70b-instruct-v0.1
• 注意: Swallow-MS-7b-instruct-v0.1使用的数据不同。

统计信息

数据集	对话数量
oasst2-top1-en	5,334
oasst1-21k-ja-imitation_alpha	21,120
oasst1-21k-ja-imitation_beta	21,035

数据格式

• 结构: json { "conversation": [ {"role": "user", "content": "USER_MESSAGE1"}, {"role": "assistant", "content": "ASSISTANT_MESSAGE1"}, {"role": "user", "content": "USER_MESSAGE2"}, {"role": "assistant", "content": "ASSISTANT_MESSAGE2"}, ... ] }

• 建议: 在SFT中，仅计算助手响应的损失。

数据构建方法

oasst2-top1-en

• 来源: 从OpenAssistant2对话树中提取的最高评级的对话。

oasst1-21k-ja-imitation_alpha

• 来源: 使用llm-jp/oasst1-21k-ja数据集，该数据集是OpenAssistant1的机器翻译。

• 生成方法: 使用Mixtral-8x7B-Instruct-v0.1生成响应。

• 参数:

  max_length: 4096 top_p: 0.95 temperature: 1.0 repetition_penalty: 1.0 do_sample: True

oasst1-21k-ja-imitation_beta

• 来源: 与alpha版本相同，但每个用户输入后附加了“日本語で応答してください。”（请用日语回答）。

作者

• 团队成员:
  • 来自Tokyo Institute of Technology Okazaki Laboratory的成员。
  • 来自Tokyo Institute of Technology YOKOTA Laboratory的成员。
  • 来自Artificial Intelligence Research Center, AIST, Japan的成员。

引用

• 引用格式: tex @misc{llama3swallow, title={Llama 3 Swallow}, url={https://swallow-llm.github.io/llama3-swallow.en.html}, author={Swallow LLM}, year={2024}, }