AarushSah/scibowl-synthetic

Scibowl-synthetic是一个由Claude 3 Opus语言模型回答的科学竞赛问题数据集。该数据集旨在为语言模型提供高质量的科学概念教学资源。数据集包含5,046个基于文本的示例，每个示例包括一个科学竞赛问题、预期答案、Claude提供的答案、Claude的思考过程（用<thinking>标签包裹）以及最终响应（用<answer>标签包裹）。

原始信息汇总

Scibowl-synthetic (v0.1)

数据集描述

Scibowl-synthetic 是一个科学碗问题的数据集，这些问题已由 Claude 3 Opus 语言模型回答。该数据集旨在为语言模型提供高质量的科学概念教学资源。

数据集组成

数据集包含 5,046 个基于文本的示例。每个示例包括一个科学碗问题、预期答案、Claude 提供的答案、Claude 的思考过程（包裹在 <thinking> 标签中）以及最终回答（包裹在 <answer> 标签中）。

数据收集过程

科学碗问题是通过下载高中（HS）级别的所有样本问题收集的。然后使用 Meta Nougat 解析、清洗并处理这些问题，通过 Claude 3 Opus 语言模型生成答案。

使用的系统提示如下：

You will answer the question posed by the user step by step, with detailed reasoning explaining how you arrived at that answer. Think before you answer, and explain your thought process. Make sure you are factual and evidence based. Double check your responses. Wrap your thought process in <thinking> tags. Wrap your final response in <answer> tags. Within the answer tags, only put the answer, no reasoning.

数据集结构

数据集中的每个示例表示为一个 JSON 对象，包含以下字段：

• question：科学碗问题。
• expected：问题的预期答案。
• answer：Claude 提供的答案。
• thinking：Claude 的思考过程，包裹在 <thinking> 标签中。
• response：包括思考过程和最终答案的完整回答。
• correct：一个布尔值，指示 Claude 的答案是否与预期答案匹配。注意，此值不完全可靠，可能包含假阴性。

数据集分割

目前，数据集没有预定义的分割。用户可以根据需要创建自己的分割。

数据集用途

Scibowl-synthetic 数据集可用于多种目的，例如：

• 在科学相关任务上微调语言模型。
• 评估语言模型回答科学问题的性能。
• 研究语言模型的推理和思考过程。

潜在问题和偏差

由于数据集中的答案由 Claude 3 Opus 语言模型生成，可能存在模型固有的偏差和限制。用户在使用数据集时应意识到这些潜在偏差。

此外，数据集中的 correct 布尔值不完全可靠，可能包含假阴性。用户在使用此值进行评估时应谨慎。

许可信息

Scibowl-synthetic 数据集在 Apache 2.0 许可下发布。