erhwenkuo/train_3.5m-zhtw

---
dataset_info:
features:
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
- name: id
dtype: string
splits:
- name: train
num_bytes: 4550239762
num_examples: 3606402
download_size: 2796036198
dataset_size: 4550239762
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
task_categories:
- text2text-generation
language:
- zh
size_categories:
- 1M<n<10M
---
# Dataset Card for "train_3.5m-zhtw"

## 内容
包含約 350 萬條由 [BELLE](https://github.com/LianjiaTech/BELLE) 計畫產生的中文指令資料。

## 範例
```
{
"id":"66623028",
"conversations":[
{
"from":"human",
"value":"歸納介紹三種不同類型的電影專題"
},
{
"from":"assistant",
"value":"1. 動作片：動作片通常強調動作和戰鬥場面，故事情節緊湊，充滿了緊張和興奮的氛圍。主角一般是具有超凡實力或特殊技能的英雄人物，往往會與反派角色進行一系列激烈的格鬥，追逐和爆破等酷炫場面。例如《玩命關頭》和《復仇者聯盟》等。\n2. 愛情片：愛情片是以愛情為主題的電影，著重呈現角色之間的感情糾葛，展現了愛情的美麗與悲壯。情節與角色之間的發展令人深思，增加了觀眾的感性體驗。這種電影的故事情節主要以人類與人類之間的情感變化為主題。例如《泰坦尼克號》和《讓子彈飛》等。\n3. 科幻片：科幻片是以未來科技和未知世界為主題的電影，通常包括時間旅行、外星人、虛擬實境、未來社會等各種奇幻的元素。這種電影描繪了一種比現實更加宏偉、更加神秘和驚奇的世界。例如《星際效應》和《發條橘子》等。"
}
]
}
{
"id":"18205437",
"conversations":[
{
"from":"human",
"value":"根據給定的食材，編寫一道美食食譜。\n雞腿肉、蘑菇、洋蔥"
},
{
"from":"assistant",
"value":"雞肉炒蘑菇洋蔥\n食材：\n- 雞腿肉400克，去骨去皮切成小塊\n- 蘑菇200克，切片\n- 洋蔥1個，切絲\n- 生薑適量，切絲\n- 醬油2匙\n- 料酒1匙\n- 鹽適量\n- 白胡椒粉適量\n- 植物油適量\n做法：\n1. 在一個碗裡放入切好的雞腿肉塊，加入醬油、料酒和適量的白胡椒粉，攪拌均勻，醃製10分鐘。\n2. 熱鍋涼油，加入薑絲翻炒，放入醃好的雞肉塊翻炒至變色。\n3 . 加入洋蔥絲和蘑菇，翻炒2-3分鐘至蘑菇變軟。\n4. 加入適量的鹽和少量的水，蓋上鍋蓋燜煮5分鐘直至雞肉熟透。\n5. 最後翻炒幾下，使湯汁變濃稠即可。\n溫馨提示：\n1. 在醃製雞肉時，如果想讓肉質更嫩滑，可以加入少量的澱粉和蛋清。\n2. 可以根據個人口味加入其他調味料，如蒜末、辣椒等。\n3. 洋蔥和蘑菇可以用其他蔬菜代替，如青椒、胡蘿蔔等。"
},
{
"from":"human",
"value":"太好了，我會試著照著你教的做一次，但是我最近買了一部新相機，想讓你推荐一些好的拍照地點。"
},
{
"from":"assistant",
"value":"當地的風景區、公園、景點等等都是比較適合拍照的地點。如果你想要一些特別的地方，可以考慮一些建築群，街道巷子、咖啡館、書店等具有文藝氣息的地方。"
},
{
"from":"human",
"value":"嗯，這些地方都很不錯，但是我還想找一些可以體驗當地文化和風俗的地點，你有什麼好的建議嗎？"
},
{
"from":"assistant",
"value":"如果你想要更深入地了解當地文化和風俗，可以考慮參加一些遊學活動，例如參觀當地的博物館、參加民俗節慶、嘗試當地美食等等。此外，也可以去一些小城鎮，感受那裡的古樸風情。"
}
]
}
```
### 欄位：
```
id: 資料id
conversations: 數據內容，以對話形式給出，包括多輪和單輪對話的數據
```
### 補充：
針對此資料集，新增了指令類別字段，共包括13個類別，詳情見
[train_3.5M_CN_With_Category](https://huggingface.co/datasets/BELLE-2/train_3.5M_CN_With_Category)

## 使用限制
僅允許將此資料集及使用此資料集產生的衍生物用於研究目的，不得用於商業，以及其他會對社會帶來危害的用途。
本資料集不代表任何一方的立場、利益或想法，無關任何團體的任何類型的主張。因使用本資料集所帶來的任何損害、糾紛，本專案不承擔任何責任。

## Citation

```bibtex
@misc{BELLE,
author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma and Xiangang Li},
title = {BELLE: Be Everyone's Large Language model Engine },
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}
@article{belle2023exploring,
title={Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases},
author={Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Lei Zhang, Baochang Ma, Xiangang Li},
journal={arXiv preprint arXiv:2303.14742},
year={2023}
}
```

---
dataset_info:
features:
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
- name: id
dtype: string
splits:
- name: train
num_bytes: 4550239762
num_examples: 3606402
download_size: 2796036198
dataset_size: 4550239762
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
task_categories:
- text2text-generation
language:
- zh
size_categories:
- 1M<n<10M
---
# Dataset Card for "train_3.5m-zhtw"

## Content
Contains approximately 3.5 million Chinese instruction datasets generated by the [BELLE](https://github.com/LianjiaTech/BELLE) project.

## Examples

{
"id":"66623028",
"conversations":[
{
"from":"human",
"value":"歸納介紹三種不同類型的電影專題"
},
{
"from":"assistant",
"value":"1. 動作片：動作片通常強調動作和戰鬥場面，故事情節緊湊，充滿了緊張和興奮的氛圍。主角一般是具有超凡實力或特殊技能的英雄人物，往往會與反派角色進行一系列激烈的格鬥，追逐和爆破等酷炫場面。例如《玩命關頭》和《復仇者聯盟》等。
2. 愛情片：愛情片是以愛情為主題的電影，著重呈現角色之間的感情糾葛，展現了愛情的美麗與悲壯。情節與角色之間的發展令人深思，增加了觀眾的感性體驗。這種電影的故事情節主要以人類與人類之間的情感變化為主題。例如《泰坦尼克號》和《讓子彈飛》等。
3. 科幻片：科幻片是以未來科技和未知世界為主題的電影，通常包括時間旅行、外星人、虛擬實境、未來社會等各種奇幻的元素。這種電影描繪了一種比現實更加宏偉、更加神秘和驚奇的世界。例如《星際效應》和《發條橘子》等。"
}
]
}
{
"id":"18205437",
"conversations":[
{
"from":"human",
"value":"根據給定的食材，編寫一道美食食譜。
雞腿肉、蘑菇、洋蔥"
},
{
"from":"assistant",
"value":"雞肉炒蘑菇洋蔥
食材：
- 雞腿肉400克，去骨去皮切成小塊
- 蘑菇200克，切片
- 洋蔥1個，切絲
- 生薑適量，切絲
- 醬油2匙
- 料酒1匙
- 鹽適量
- 白胡椒粉適量
- 植物油適量
做法：
1. 在一個碗裡放入切好的雞腿肉塊，加入醬油、料酒和適量的白胡椒粉，攪拌均勻，醃製10分鐘。
2. 熱鍋涼油，加入薑絲翻炒，放入醃好的雞肉塊翻炒至變色。
3 . 加入洋蔥絲和蘑菇，翻炒2-3分鐘至蘑菇變軟。
4. 加入適量的鹽和少量的水，蓋上鍋蓋燜煮5分鐘直至雞肉熟透。
5. 最後翻炒幾下，使湯汁變濃稠即可。
溫馨提示：
1. 在醃製雞肉時，如果想讓肉質更嫩滑，可以加入少量的澱粉和蛋清。
2. 可以根據個人口味加入其他調味料，如蒜末、辣椒等。
3. 洋蔥和蘑菇可以用其他蔬菜代替，如青椒、胡蘿蔔等。"
},
{
"from":"human",
"value":"太好了，我會試著照著你教的做一次，但是我最近買了一部新相機，想讓你推荐一些好的拍照地點。"
},
{
"from":"assistant",
"value":"當地的風景區、公園、景點等等都是比較適合拍照的地點。如果你想要一些特別的地方，可以考慮一些建築群，街道巷子、咖啡館、書店等具有文藝氣息的地方。"
},
{
"from":"human",
"value":"嗯，這些地方都很不錯，但是我還想找一些可以體驗當地文化和風俗的地點，你有什麼好的建議嗎？"
},
{
"from":"assistant",
"value":"如果你想要更深入地了解當地文化和風俗，可以考慮參加一些遊學活動，例如參觀當地的博物館、參加民俗節慶、嘗試當地美食等等。此外，也可以去一些小城鎮，感受那裡的古樸風情。"
}
]
}

## Fields

id: Unique data identifier
conversations: Data content presented in conversational format, including both single-turn and multi-turn dialogue datasets

## Additional Notes
An instruction category field has been added to this dataset, totaling 13 categories. For details, please refer to [train_3.5M_CN_With_Category](https://huggingface.co/datasets/BELLE-2/train_3.5M_CN_With_Category)

## Usage Restrictions
This dataset and derivatives generated using it are only permitted for research purposes. Commercial use and other uses that may cause harm to society are prohibited. This dataset does not represent the positions, interests, or opinions of any party, and is unrelated to any type of claim of any organization. The project shall not be liable for any damages or disputes arising from the use of this dataset.

## Citation

bibtex
@misc{BELLE,
author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma and Xiangang Li},
title = {BELLE: Be Everyone's Large Language model Engine },
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/LianjiaTech/BELLE}},
}
@article{belle2023exploring,
title={Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases},
author={Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Lei Zhang, Baochang Ma, Xiangang Li},
journal={arXiv preprint arXiv:2303.14742},
year={2023}
}

原始信息汇总

数据集概述

数据集信息

• 特征:
  • conversations: 对话内容
    • from: 发送者类型（字符串）
    • value: 对话内容（字符串）
  • id: 数据ID（字符串）
• 数据分割:
  • train: 训练集
    • 字节数: 4550239762
    • 样本数: 3606402
• 下载大小: 2796036198 字节
• 数据集大小: 4550239762 字节
• 配置:
  • default: 默认配置
    • 数据文件路径: data/train-*
• 任务类别:
  • text2text-generation: 文本生成
• 语言:
  • zh: 中文
• 数据集大小类别:
  • 1M<n<10M: 100万到1000万条数据

内容

包含约350万条由BELLE计划产生的中文指令数据。

示例

json { "id": "66623028", "conversations": [ { "from": "human", "value": "歸納介紹三種不同類型的電影專題" }, { "from": "assistant", "value": "1. 動作片：動作片通常強調動作和戰鬥場面，故事情節緊湊，充滿了緊張和興奮的氛圍。主角一般是具有超凡實力或特殊技能的英雄人物，往往會與反派角色進行一系列激烈的格鬥，追逐和爆破等酷炫場面。例如《玩命關頭》和《復仇者聯盟》等。 2. 愛情片：愛情片是以愛情為主題的電影，著重呈現角色之間的感情糾葛，展現了愛情的美麗與悲壯。情節與角色之間的發展令人深思，增加了觀眾的感性體驗。這種電影的故事情節主要以人類與人類之間的情感變化為主題。例如《泰坦尼克號》和《讓子彈飛》等。 3. 科幻片：科幻片是以未來科技和未知世界為主題的電影，通常包括時間旅行、外星人、虛擬實境、未來社會等各種奇幻的元素。這種電影描繪了一種比現實更加宏偉、更加神秘和驚奇的世界。例如《星際效應》和《發條橘子》等。" } ] } { "id": "18205437", "conversations": [ { "from": "human", "value": "根據給定的食材，編寫一道美食食譜。 雞腿肉、蘑菇、洋蔥" }, { "from": "assistant", "value": "雞肉炒蘑菇洋蔥 食材：

• 雞腿肉400克，去骨去皮切成小塊
• 蘑菇200克，切片
• 洋蔥1個，切絲
• 生薑適量，切絲
• 醬油2匙
• 料酒1匙
• 鹽適量
• 白胡椒粉適量
• 植物油適量 做法：

1. 在一個碗裡放入切好的雞腿肉塊，加入醬油、料酒和適量的白胡椒粉，攪拌均勻，醃製10分鐘。
2. 熱鍋涼油，加入薑絲翻炒，放入醃好的雞肉塊翻炒至變色。 3 . 加入洋蔥絲和蘑菇，翻炒2-3分鐘至蘑菇變軟。
3. 加入適量的鹽和少量的水，蓋上鍋蓋燜煮5分鐘直至雞肉熟透。
4. 最後翻炒幾下，使湯汁變濃稠即可。 溫馨提示：
5. 在醃製雞肉時，如果想讓肉質更嫩滑，可以加入少量的澱粉和蛋清。
6. 可以根據個人口味加入其他調味料，如蒜末、辣椒等。
7. 洋蔥和蘑菇可以用其他蔬菜代替，如青椒、胡蘿蔔等。" }, { "from": "human", "value": "太好了，我會試著照著你教的做一次，但是我最近買了一部新相機，想讓你推荐一些好的拍照地點。" }, { "from": "assistant", "value": "當地的風景區、公園、景點等等都是比較適合拍照的地點。如果你想要一些特別的地方，可以考慮一些建築群，街道巷子、咖啡館、書店等具有文藝氣息的地方。" }, { "from": "human", "value": "嗯，這些地方都很不錯，但是我還想找一些可以體驗當地文化和風俗的地點，你有什麼好的建議嗎？" }, { "from": "assistant", "value": "如果你想要更深入地了解當地文化和風俗，可以考慮參加一些遊學活動，例如參觀當地的博物館、參加民俗節慶、嘗試當地美食等等。此外，也可以去一些小城鎮，感受那裡的古樸風情。" } ] }

字段说明

• id: 数据ID
• conversations: 数据内容，以对话形式给出，包括多轮和单轮对话的数据

使用限制

仅允许将此数据集及使用此数据集产生的衍生物用于研究目的，不得用于商业，以及其他会对社会带来危害的用途。 本数据集不代表任何一方的立场、利益或想法，无关任何团体的任何类型的主张。因使用本数据集所带来的任何损害、纠纷，本项目不承担任何责任。

引用

bibtex @misc{BELLE, author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma and Xiangang Li}, title = {BELLE: Be Everyones Large Language model Engine }, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/LianjiaTech/BELLE}}, } @article{belle2023exploring, title={Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases}, author={Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Lei Zhang, Baochang Ma, Xiangang Li}, journal={arXiv preprint arXiv:2303.14742}, year={2023} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指令微调数据集的质量与规模直接决定了大语言模型对齐人类意图的能力。该数据集源自BELLE项目，通过自动化的指令生成与筛选流程构建，最终汇集了约350万条高质量的中文指令数据。每条样本以多轮或单轮对话形式组织，包含人类提问与模型回答，并额外标注了13个指令类别字段以增强数据的结构化程度。数据存储采用JSON格式，每个样本由唯一标识符‘id’与对话列表‘conversations’组成，后者包含发言者角色‘from’及内容‘value’，确保了数据在训练过程中的易用性与可解析性。

使用方法

该数据集专为文本生成任务的指令微调设计，兼容主流深度学习框架如PyTorch与TensorFlow。使用时，可直接加载HuggingFace Datasets库以流式读取分片数据，或按需解析本地JSON文件。数据字段‘conversations’需转换为模型输入格式，例如将‘human’与‘assistant’对话拼接为带特殊标记的序列。训练过程中建议按类别均匀采样以平衡不同任务的学习效果，同时注意数据仅限研究用途，不得用于商业场景或可能引发社会危害的领域。

背景与挑战

背景概述

在大语言模型领域，指令微调数据的规模与质量直接影响模型对齐人类意图的能力。erhwenkuo/train_3.5m-zhtw数据集由BELLE项目团队于2023年创建，核心研究人员包括Yunjie Ji、Yong Deng、Yan Gong等来自LianjiaTech的学者。该数据集旨在探索中文指令数据规模化对模型性能的影响，包含约350万条由BELLE计划生成的中文指令对话，覆盖单轮与多轮交互场景。其研究问题聚焦于如何通过大规模指令数据提升大语言模型在真实中文使用场景中的表现，为后续中文指令微调研究提供了重要基准。该数据集的出现推动了中文自然语言处理领域对指令数据构建与模型对齐的深入理解，成为相关研究的重要参考资源。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，中文指令微调数据存在多样性不足与质量不均的难题，单靠大规模数据难以保证模型对复杂指令的泛化能力，尤其需要应对多轮对话中上下文连贯性与任务一致性的挑战。其次，在构建过程中，数据来源依赖自动生成，可能引入噪声与偏差，如何过滤低质量样本并确保指令类别的均衡覆盖成为关键难点。此外，数据集的许可限制仅允许研究用途，限制了其在商业场景的广泛应用，同时多轮对话中指令的歧义性也增加了模型训练的复杂性，需进一步优化数据清洗与标注策略以提升可靠性。

常用场景

经典使用场景

在自然语言处理领域，指令微调数据集是提升大语言模型遵循人类意图能力的关键资源。erhwenkuo/train_3.5m-zhtw 数据集汇聚了约350万条由BELLE项目生成的中文指令数据，以多轮对话形式呈现，覆盖知识问答、任务执行、创意生成等丰富场景。其经典使用场景在于为大语言模型提供高质量的监督微调语料，使模型能够理解并回应中文语境下的复杂指令，从而在对话生成、信息检索与任务推理等任务中表现出色。研究者常利用该数据集对基座模型进行参数高效微调，以增强其指令遵循能力和多轮交互的连贯性。

解决学术问题

该数据集直面大语言模型在中文指令理解与生成方面的核心学术挑战。它解决了指令数据规模与质量对模型泛化能力影响这一关键问题，为探究数据规模与模型性能之间的缩放律提供了实证基础。通过提供结构化的多轮对话样本，它缓解了中文领域高质量指令数据稀缺的困境，助力研究者分析模型在多样化任务上的零样本与少样本学习能力。该数据集的发布推动了中文大语言模型的指令微调研究，为理解数据多样性、对话轮次深度与模型对齐效果之间的内在关联提供了重要支撑。

实际应用

在实际应用中，该数据集为构建智能客服、教育辅导、内容创作辅助等中文对话系统提供了坚实的数据基石。通过微调基于该数据集的模型，企业能够开发出更精准理解用户意图的虚拟助手，实现从产品推荐到故障排查的全流程交互。在教育领域，它可用于训练能够进行多轮解释与答疑的智能导师系统。此外，该数据集还赋能文化创意产业，支持生成符合中文语言习惯的文案、食谱或旅行规划，显著提升人机协作的效率与自然度。

数据集最近研究

最新研究方向

基于大规模中文指令数据集的大语言模型对齐与泛化能力研究。该数据集源自BELLE项目，包含约350万条中文指令对话，覆盖多轮与单轮交互场景，为探索指令微调对模型性能的影响提供了坚实基础。当前前沿方向聚焦于数据规模与质量对模型指令遵循能力的量化分析，以及如何通过多样化指令类别（如13类细分）增强模型在真实应用中的泛化表现。该数据集已成为中文大模型对齐研究的重要基准，推动了自然语言处理领域对低资源语言指令数据构建方法的关注，并间接影响了开源社区对模型安全性与伦理使用的讨论。