chenshake/guanaco-llama2-10k

---
language:
- en
- es
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 15401731
num_examples: 9846
- name: test
num_bytes: 815439
num_examples: 518
download_size: 9576406
dataset_size: 16217170
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

我是使用notebook练习进行dataset的转换。

如何训练llama-2，是不需要数据转换，直接使用timdettmers/openassistant-guanaco 就可以。

如果是llama-2-chat版本，需要做数据格式转换。转换过程，参考 notebook。

[Llama2-chat-dataset 转换](https://gist.github.com/shake/656d7c10201e4e2aba4cccc40f57d7b3)

原始信息汇总

数据集概述

数据集信息

• 语言: 英语（en）、西班牙语（es）
• 特征:
  • 名称: text
  • 数据类型: string

数据集分割

• 训练集:
  • 名称: train
  • 示例数量: 9846
  • 字节数: 15401731
• 测试集:
  • 名称: test
  • 示例数量: 518
  • 字节数: 815439

数据集大小

• 下载大小: 9576406字节
• 数据集总大小: 16217170字节

配置信息

• 配置名称: default
• 数据文件路径:
  • 训练集: data/train-*
  • 测试集: data/test-*