lrxl/AutoDetect-results

该数据集包含了AutoDetect在不同模型上的测试结果，涉及三个基本任务：指令跟随、数学和编码。每个模型在特定任务上的结果存储在相应的文件夹中，文件夹内包含不同子任务的结果，记录在名为`log.json`的文件中。`log.json`文件中的键包括`init_points`、`new_points`和不同的测试点。`init_points`指的是子任务中的测试点列表，`new_points`包含在AutoDetect过程中生成的新测试点的元信息。每个测试点包括种子和迭代搜索结果的列表，每个列表项由`prompt`、`answer`、`ref_ans`、`comparison`、`key_point`和`score`组成。为了更清晰地展示数据，主页上随机选择了一些迭代结果作为样本。

This dataset contains the results of AutoDetect on different models across three basic tasks: Instruction-following, Mathematics and Coding. The results of each model for specific tasks are stored in folders named accordingly. Each folder contains results for different subtasks, recorded in a file named `log.json`. The keys in `log.json` include `init_points`, `new_points` and different test points. The `init_points` refers to a list of test points in the subtask. The `new_points` contains meta information about new test points generated during the AutoDetect process. Each test point comprises lists of seed and iteration search results. Each entry in the list consists of `prompt`, `answer`, `ref_ans`, `comparison`, `key_point` and `score`. To provide a clearer view of our data, we randomly select some iteration results as samples on the main page.

原始信息汇总

数据集概述

数据集内容

• 数据集包含不同模型在三个基本任务（指令跟随、数学和编码）上的AutoDetect结果。
• 每个任务的结果存储在相应的文件夹中，文件夹内包含不同子任务的结果，记录在log.json文件中。

数据结构

• log.json文件中的键包括：
  • init_points：子任务中的测试点列表。
  • new_points：AutoDetect过程中生成的新测试点的元信息。
• 每个测试点包含种子和迭代搜索结果的列表，列表中的每个条目包括：
  • prompt：提示。
  • answer：答案。
  • ref_ans：参考答案。
  • comparison：比较结果。
  • key_point：关键点。
  • score：分数。

数据示例

• 为了更清晰地展示数据，主页上随机选择了一些迭代结果作为样本。

许可证

• 该数据集采用MIT许可证。