apps_pnyx

PNYX-Apps 数据集是原始 APPS 数据集的一个修改版本，专门设计用于与 `hf_evaluate` 和 `lm-eval` 包兼容。该数据集主要用于文本生成和问答任务，特别是在代码领域。数据集包含多个字段，如 `id`（与原始 APPS 数据集相同）、`difficulty`（问题难度）、`url`（原始问题链接）、`user_chat_prompt`（聊天式问题提示）、`test_code`（新创建的测试代码）、`solution_function`（兼容 `hf_evaluate` 的解决方案函数）和 `solution_id`（解决方案索引）。数据集规模在 1K 到 10K 之间，语言为英文。数据集的使用受到 MIT 许可证的限制，并且用户同意不公开数据集中的示例以避免泄露到基础模型训练语料库中。此外，README 还提供了测试代码的示例和缺失样本的详细列表。