Iker/OpenHermes-2.5-Spanish

OpenHermes-2.5-Spanish数据集是将teknium/OpenHermes-2.5数据集翻译成西班牙语的结果，包含100万条高质量的西班牙语指令。数据集使用了Iker/TowerInstruct-13B-v0.1-EN2ES模型进行翻译，并经过预处理，移除了包含‘Translate’单词的指令以及超过4096个token的指令。翻译过程使用了8x100 80Gb GPUs，耗时约一周。数据集还包括了从其他数据集中添加的翻译指令，如Iker/Document-Translation-en-es和Iker/InstructTranslation-EN-ES等。

原始信息汇总

数据集概述

基本信息

• 语言: 西班牙语
• 许可证: Apache-2.0
• 大小: 1M<n<10M
• 任务类别: 文本生成

数据集结构

特征

• id: 整数类型 (int64)
• conversations: 列表类型
  • from: 字符串类型 (string)
  • value: 字符串类型 (string)

分割

• train:
  • 数量: 1,000,000 个示例
  • 字节数: 1,825,846,729 字节

下载信息

• 下载大小: 905,297,617 字节
• 数据集大小: 1,825,846,729 字节

配置

• 默认配置:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

标签

• 合成数据
• GPT-4
• 蒸馏
• 编译

数据集翻译过程

预处理

• 移除包含“Translate”的指令及超过4096个tokens的文本。
• 使用 Iker/TowerInstruct-13B-v0.1-EN2ES 模型进行tokenization。
• 预处理后数据集包含958,060条指令。

微调模型

• 使用 TowerInstruct-13B-v0.1-EN2ES 模型进行微调，以提高指令翻译能力。
• 使用ROPE scaling将模型上下文大小扩展至8192 tokens。

翻译

• 使用 Iker/TowerInstruct-13B-v0.1-EN2ES 模型翻译预处理后的数据集。
• 使用 cTranslate2 进行翻译。

包含翻译示例

• 添加了多个翻译指令，包括从英语到西班牙语的翻译。
• 使用多种prompt格式进行翻译指令的生成。

包含RAG示例

• 更新于2024年1月4日，替换3701个错误翻译的示例。
• 使用 projecte-aina/RAG_Multilingual 数据集中的指令。

引用信息

bibtex @misc{OpenHermes 2.5 Spanish, title = {OpenHermes 2.5 Spanish: Translation of instruction dataset for Generalist LLM Assistants in any language.}, author = {Iker García-Ferrero}, year = {2024}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/Iker/OpenHermes-2.5-Spanish} }

bibtex @misc{OpenHermes 2.5, title = {OpenHermes 2.5: An Open Dataset of Synthetic Data for Generalist LLM Assistants}, author = {Teknium}, year = {2023}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/teknium/OpenHermes-2.5} }