该数据集为论文《Hide to Guide: Learning via Semantic Masking》提供支持,包含原始专家跟踪数据,用于数学、代码和代理搜索等任务。它基于语义掩码专家策略优化(SMEPO)方法,这是一种专家指导的强化学习方法,通过掩码奖励相关语义跨度来改进语言模型,同时保持程序结构。数据集采用一致的模式,包括问题、奖励模型和教师数据集字段。
This is a backup for the pile val dataset downloaded from here: `https://the-eye.eu/public/AI/pile/val.jsonl.zst` Please respect the original license of the dataset.