withpi/contract_scoring_v7_with_embeddings

---
dataset_info:
features:
- name: system_prompt
dtype: string
- name: input
dtype: string
- name: response
dtype: string
- name: question
dtype: string
- name: label_GPT4o_DG_1
dtype: int64
- name: label_GPT4o_DG_2
dtype: int64
- name: label_GPT4o_DG_3
dtype: int64
- name: openai_embeddings
sequence: float64
- name: input_openai_embeddings
sequence: float64
- name: response_openai_embeddings
sequence: float64
- name: question_openai_embeddings
sequence: float64
- name: label
dtype: int64
- name: pred_openai_label
dtype: int64
splits:
- name: train
num_bytes: 1107822726
num_examples: 10942
- name: test
num_bytes: 276962176
num_examples: 2735
download_size: 985281486
dataset_size: 1384784902
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

- Uses the prompts from https://github.com/f/awesome-chatgpt-prompts/blob/main/prompts.csv.
- Generates two responses using GPT_4o and LLAMA31_70B. Scores thrice using GPT_4o with zero temperature.
- This dataset got overwritten and we lost the cases where all three scores using GPT_4o disagree. However, 90.7% of the data is retained.

数据集信息：
特征项：
- 系统提示词（system_prompt）：数据类型为字符串
- 输入文本（input）：数据类型为字符串
- 模型回复（response）：数据类型为字符串
- 问题文本（question）：数据类型为字符串
- GPT-4o评分标签1（label_GPT4o_DG_1）：数据类型为64位整数
- GPT-4o评分标签2（label_GPT4o_DG_2）：数据类型为64位整数
- GPT-4o评分标签3（label_GPT4o_DG_3）：数据类型为64位整数
- OpenAI嵌入向量（openai_embeddings）：数据类型为float64序列
- 输入文本的OpenAI嵌入向量（input_openai_embeddings）：数据类型为float64序列
- 回复文本的OpenAI嵌入向量（response_openai_embeddings）：数据类型为float64序列
- 问题文本的OpenAI嵌入向量（question_openai_embeddings）：数据类型为float64序列
- 基准标签（label）：数据类型为64位整数
- OpenAI模型预测标签（pred_openai_label）：数据类型为64位整数
数据集划分：
- 训练集（train）：字节占用量1107822726，样本量10942
- 测试集（test）：字节占用量276962176，样本量2735
下载总大小：985281486字节，数据集总存储大小：1384784902字节
数据集配置：
- 默认配置（default）：数据文件映射如下：
- 训练集：data/train-*
- 测试集：data/test-*

本数据集使用来自https://github.com/f/awesome-chatgpt-prompts/blob/main/prompts.csv 的提示词构建。
分别通过GPT-4o与LLAMA31_70B生成两段回复，并以零温度（zero temperature）推理参数设置，由GPT-4o完成三次评分。
本数据集曾因覆盖操作丢失了全部三项GPT-4o评分均不一致的样本，但仍保留了90.7%的原始数据。