character-llm-data

# Character-LLM: A Trainable Agent for Role-Playing

This is the training datasets for Character-LLM, which contains nine characters experience data used to train Character-LLMs.
To download the dataset, please run the following code with Python, and you can find the downloaded data in `/path/to/local_dir`.
```python
from huggingface_hub import snapshot_download
snapshot_download(
local_dir_use_symlinks=True,
repo_type="dataset",
repo_id="fnlp/character-llm-data",
local_dir="/path/to/local_dir")
```

The `prompted/` contains datasets that can be used for supervised fine-tuning directly. And `generated/` consists of raw data that generated by gpt-3.5-turbo, which can be converted into `prompted` style.
Here is the statistics of the training data.
| | # Scenes | # Words | # Turns |
|----------------------|---------|--------|--------|
| Cleopatra VII | 1.4K | 723K | 14.3 |
| Lord Voldemort | 1.4K | 599K | 13.1 |
| Spartacus | 1.4K | 646K | 12.3 |
| Hermione Granger | 1.5K | 628K | 15.5 |
| Isaac Newton | 1.6K | 772K | 12.6 |
| Julius Caesar | 1.6K | 820K | 12.9 |
| Ludwig van Beethoven | 1.6K | 663K | 12.2 |
| Socrates | 1.6K | 896K | 14.1 |
| Martin Luther King | 2.2K | 1,038K | 12.0 |
| Avg. | 1.6K | 754K | 13.2 |

# 角色大语言模型（Character-LLM）：一款可训练的角色扮演智能体

本数据集专为角色大语言模型（Character-LLM）的训练打造，共收录九位经典角色的交互体验数据，用于模型的训练与微调。

如需下载该数据集，请通过Python运行以下代码，下载得到的原始数据将存储至`/path/to/local_dir`路径下：
python
from huggingface_hub import snapshot_download
snapshot_download(
local_dir_use_symlinks=True,
repo_type='dataset',
repo_id='fnlp/character-llm-data',
local_dir='/path/to/local_dir')

其中`prompted/`目录下的数据集可直接用于监督微调（supervised fine-tuning）；`generated/`目录存放由GPT-3.5-turbo生成的原始数据，可被转换为`prompted`格式以适配训练需求。

以下为该训练数据集的统计信息：
| | 场景数 | 词数 | 对话轮次 |
|----------------------|---------|--------|--------|
| 克利奥帕特拉七世（Cleopatra VII） | 1.4K | 723K | 14.3 |
| 伏地魔（Lord Voldemort） | 1.4K | 599K | 13.1 |
| 斯巴达克斯（Spartacus） | 1.4K | 646K | 12.3 |
| 赫敏·格兰杰（Hermione Granger） | 1.5K | 628K | 15.5 |
| 艾萨克·牛顿（Isaac Newton） | 1.6K | 772K | 12.6 |
| 尤利乌斯·凯撒（Julius Caesar） | 1.6K | 820K | 12.9 |
| 路德维希·凡·贝多芬（Ludwig van Beethoven） | 1.6K | 663K | 12.2 |
| 苏格拉底（Socrates） | 1.6K | 896K | 14.1 |
| 马丁·路德·金（Martin Luther King） | 2.2K | 1,038K | 12.0 |
| 平均值（Avg.） | 1.6K | 754K | 13.2 |