pharaouk/IHOP_flan_CoT

IHOP FLAN CoT ZeroShot数据集是对FLAN CoT数据集的重新创建，专门用于零样本学习。创建者提到FLAN框架难以使用，并且conceptofmind仓库缺少评估所需的原始目标，同时错误地标记了opt。此外，创建者在每个thought/step之间添加了双换行符，以便于使用类似PRM的方法进行评估。

原始信息汇总

数据集概述

数据集名称

IHOP FLAN CoT ZeroShot

数据集描述

这是一个专门为零样本学习重新创建的FLAN cot数据集。数据集中的每个"thought"/"step"之间都添加了双换行符，以便于使用PRM等方法进行评估。

数据集特点

• 数据集中的模板非常相似，确保了评估的一致性。
• 添加了双换行符，便于评估。

数据集规模

• 数据集大小：10K<n<100K

许可证

• 许可证类型：Apache-2.0

引用信息

@article{longpre2023flan, title={The Flan Collection: Designing Data and Methods for Effective Instruction Tuning}, author={Longpre, Shayne and Hou, Le and Vu, Tu and Webson, Albert and Chung, Hyung Won and Tay, Yi and Zhou, Denny and Le, Quoc V and Zoph, Barret and Wei, Jason and others}, journal={arXiv preprint arXiv:2301.13688}, year={2023} }

@article{lightman2023lets, title={Lets Verify Step by Step}, author={Lightman, Hunter and Kosaraju, Vineet and Burda, Yura and Edwards, Harri and Baker, Bowen and Lee, Teddy and Leike, Jan and Schulman, John and Sutskever, Ilya and Cobbe, Karl}, journal={arXiv preprint arXiv:2305.20050}, year={2023} }