AdamCodd/recipe-nlg-alpaca
收藏资源简介：
该数据集是从recipe-nlg中精心筛选的，仅包含来源为Gathered的数据。原始数据集存在大量的爬取伪影、拼写错误、Unicode字符、空的和非常短的食谱，这些都被移除。然后，数据集被格式化为Alpaca指令集，包含指令、输入和输出。原始数据集的食谱数量从约2M2减少到约500K。尽管数据集仍然不完美，但已经进行了大量清理工作。
A heavily curated dataset from recipe-nlg (source=Gathered only). A lot of scraping artifacts, typographical errors, unicode, empty and very short recipes were removed. Then it has been formatted into Alpaca instruction set with Instructions, Input and Output. The total number of recipes went from ~2M2 (original dataset) to ~500K. Obviously, its still not perfect (I wont lie, the original dataset was very flawed). To fully fix this would require a very time-consuming manual edition, so you can consider it a WIP.
数据集概述
数据集来源与处理
- 来源: 从recipe-nlg数据集中精选。
- 处理: 移除了大量的抓取工件、排版错误、Unicode字符、空值和非常短的食谱。
- 格式: 转换为Alpaca指令集格式，包含指令、输入和输出。
- 规模: 从原始数据集的约220万条减少到约50万条。
数据集质量
- 现状: 仍存在一些问题，需要耗时的手动编辑才能完全修复。
- 状态: 视为正在进行中的工作（WIP）。
令牌分布分析
关键统计数据
- 最小令牌数: 164
- 最大令牌数: 3,285
- 中位数（第50百分位）: 274
百分位分布
| 百分位 | 令牌数 |
|---|---|
| 10% | 192 |
| 20% | 209 |
| 30% | 228 |
| 40% | 249 |
| 50% | 274 |
| 60% | 302 |
| 70% | 337 |
| 80% | 386 |
| 90% | 467 |
| 100% | 3,285 |
解释
- 范围: 令牌数范围从164到3,285。
- 集中趋势: 中位数为274，意味着一半的提示少于或等于274个令牌。
- 分布:
- 90%的提示少于或等于467个令牌。
- 从第90百分位到最大值有显著跳跃，表明存在一些高令牌数的异常值。
- 训练影响:
- 序列长度为400-500个令牌可覆盖大多数提示。
- 可能需要特殊处理高令牌数的异常值（如截断或分割）。
引用
bibtex @inproceedings{bien-etal-2020-recipenlg, title = "{R}ecipe{NLG}: A Cooking Recipes Dataset for Semi-Structured Text Generation", author = "Bie{ }, Micha{l} and Gilski, Micha{l} and Maciejewska, Martyna and Taisner, Wojciech and Wisniewski, Dawid and Lawrynowicz, Agnieszka", booktitle = "Proceedings of the 13th International Conference on Natural Language Generation", month = dec, year = "2020", address = "Dublin, Ireland", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.inlg-1.4", pages = "22--28", }
