SimulBench/SimulBench-seed-tasks

SimulBench数据集是一个用于文本生成任务的英语数据集，包含多个子集，如all, hard, objective, subjective, system, tool, role。数据格式为JSONL，每个条目包含id, task_description, act字段。数据集的任务来源于Awesome ChatGPT Prompts，并进行了修改。

原始信息汇总

数据集概述

许可证

• MIT

任务类别

• 文本生成

语言

• 英语

数据规模

• 小于1K

配置

• all: 包含所有数据，文件路径为 simulbench_all.jsonl
• hard: 包含难度较高的数据，文件路径为 simulbench_hard.jsonl
• objective: 包含客观数据，文件路径为 simulbench_objective.jsonl
• subjective: 包含主观数据，文件路径为 simulbench_subjective.jsonl
• system: 包含系统相关数据，文件路径为 simulbench_system.jsonl
• tool: 包含工具相关数据，文件路径为 simulbench_tool.jsonl
• role: 包含角色相关数据，文件路径为 simulbench_role.jsonl

数据格式

jsonl { "id": "...", "task_description": "...", "act": "..." }

数据加载示例

python from dataset import load_dataset

all_tasks = load_dataset("SimulBench/SimulBench", "all", split="test")

其他可用子集包括：hard, subjective, objective, system, tool, role。

引用信息

latex @article{simulbench2024, title={SimulBench: Evaluating LLMs with Diverse Simulation Tasks}, author={Qi Jia, Xiang Yue, Tianyu Zheng, Jie Huang, and Bill Yuchen Lin}, year={2024}, eprint={}, archivePrefix={arXiv}, primaryClass={cs.CL} }