WangResearchLab/AgentInstruct

AgentInstruct指令数据集包含了用于论文《Agent Instructs Large Language Models to be General Zero-Shot Reasoners》中的29个数据集的代理指令。该数据集旨在帮助用户使用AgentInstruct方法生成更多指令并在更多数据集上进行评估。

原始信息汇总

AgentInstruct 指令数据集

概述

AgentInstruct 指令数据集包含用于论文中使用的29个数据集的代理指令。鼓励使用论文和代码中详细介绍的AgentInstruct方法生成更多指令并在更多数据集上进行评估。

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: agentinstruct_instruction
  • 路径: instructions.parquet
• 语言: 英语 (en)
• 数据量: n<1K

数据集使用

数据集可通过以下方式获取：

• HuggingFace链接

数据集处理步骤

1. 生成代理指令: bash bash scripts/generate_agent_instructions.sh scripts/run_specs/simple-gpt-3.5-turbo.conf addsub

   生成的指令将保存在 instructions/addsub/instructions.json。

2. 运行推理步骤: bash bash scripts/run_reasoning.sh scripts/run_specs/simple-gpt-3.5-turbo.conf addsub 1000

   结果将保存在 benchmark_outputs/runs/addsub。

3. 格式化结果: bash python src/agentinstruct/eval/format_results.py --suite addsub

   格式化后的结果将保存在 benchmark_output/runs/addsub/results.csv。

参数说明

• 运行配置参数:

  • model: 用于推理的模型。
  • max_train_instances: 预置的少量示例数量。
  • instructions: 可选的提示方法。

• 生成代理指令参数:

  • 第一个参数: 运行配置文件路径。
  • 第二个参数: 保存指令的套件名称。

• 运行推理参数:

  • 第一个参数: 运行配置文件路径。
  • 第二个参数: 保存输出的套件名称。
  • 第三个参数: 运行的最大实例数。
  • 第四个参数: 发送请求的最大线程数。
  • 第五个参数: 传递给 helm-run 的额外参数。

• 输出结果参数:

  • --suite: 查找输出的套件名称。

引用

bibtex @article{crispino2023agent, title={Agent Instructs Large Language Models to be General Zero-Shot Reasoners}, author={Crispino, Nicholas and Montgomery, Kyle and Zeng, Fankun and Song, Dawn and Wang, Chenguang}, journal={arXiv preprint arXiv:2310.03710}, year={2023} }