connections-dev/human_annotation_creativity

--- dataset_info: features: - name: query dtype: string - name: paths_0_filtered list: list: list: string - name: utility_scores_0 dtype: float64 - name: model dtype: string - name: formatted_paths dtype: string splits: - name: train num_bytes: 1476466 num_examples: 235 download_size: 340833 dataset_size: 1476466 configs: - config_name: default data_files: - split: train path: data/train-* ---dataset_info: 数据集信息 features: 特征字段 - 名称: 查询（query） 数据类型: 字符串 - 名称: 过滤路径集0（paths_0_filtered） 数据类型: 三层嵌套字符串列表 - 名称: 效用得分0（utility_scores_0） 数据类型: 64位浮点数（float64） - 名称: 模型（model） 数据类型: 字符串 - 名称: 格式化路径（formatted_paths） 数据类型: 字符串 splits: 数据集拆分 - 拆分名称: 训练集（train） 字节数: 1476466 样本数量: 235 下载大小: 340833 数据集总大小: 1476466 configs: 配置项 - 配置名称: 默认配置（default） data_files: 数据文件 - 对应拆分: 训练集（train） 文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在创造力评估研究领域，human_annotation_creativity数据集通过系统化的人工标注流程构建而成。该数据集以查询文本为基础，由专业标注者对模型生成的多样化路径进行筛选与评分，聚焦于路径的实用性与创造性维度。构建过程中，标注者依据标准化准则对每条路径进行细致评估，确保数据质量与一致性，最终形成包含查询、过滤路径、效用分数及模型信息的结构化记录，为创造力分析提供了可靠的基础。

特点

该数据集的核心特点在于其多维度的标注信息与精细的结构设计。每条数据不仅包含原始查询文本，还提供了经过人工过滤的路径列表以及对应的效用评分，这些评分以浮点数形式精确反映路径的创造性价值。数据集涵盖了多种模型生成的内容，并通过格式化路径字段增强可读性，整体结构紧凑，便于研究者深入探索创造力评估的量化指标与模式。

使用方法

使用human_annotation_creativity数据集时，研究者可将其应用于创造力评估、模型比较或自然语言生成分析等任务。数据集以训练集形式提供，可直接加载进行探索性分析或模型训练。通过解析查询与路径的关联，结合效用分数，用户能够评估不同模型在创造性任务上的表现，或开发新的评分算法，为创造力研究提供实证支持。

背景与挑战

背景概述

在人工智能与认知科学交叉领域，创造性思维的评估与建模一直是核心研究议题。human_annotation_creativity数据集应运而生，旨在通过人类标注的方式量化创造性路径的生成与效用评分。该数据集由相关研究团队构建，聚焦于探索模型在开放式问题解决中展现的创造性行为，其核心在于解析创造性思维的多路径表征及其质量评估，为自动化创造性评估系统提供了关键数据支撑，推动了创造性计算模型的发展。

当前挑战

该数据集致力于解决创造性思维自动化评估的挑战，即如何将主观、多维的人类创造性过程转化为可计算、可比较的量化指标。在构建过程中，面临的主要挑战包括创造性路径的标准化标注框架设计，确保不同标注者间评分的一致性；以及处理高维度、非结构化的路径数据，需开发有效的数据表示方法以捕捉创造性思维的复杂性与多样性。

常用场景

经典使用场景

在人工智能与创造力交叉领域，human_annotation_creativity数据集为评估模型生成内容的创造性提供了基准。该数据集通过人工标注的效用分数和结构化路径，支持对多样化查询响应的创造性质量进行量化分析。研究者利用其评估语言模型在生成新颖、实用且连贯内容方面的能力，特别是在开放域任务中，如故事创作或问题解决，从而推动创造性计算模型的发展。

衍生相关工作

基于human_annotation_creativity数据集，衍生出多项经典研究工作，包括创造性评分算法的开发和模型优化框架的构建。研究者利用其标注数据提出了新的评估指标，如结合效用分数与路径多样性的综合创造力度量。这些工作进一步拓展了数据集的应用范围，促进了跨学科合作，例如在心理学与人工智能的融合中，探索创造性认知的计算模型，为后续大规模创造性数据集的建设奠定了基础。

数据集最近研究

最新研究方向

在人工智能与创造力交叉领域，human_annotation_creativity数据集正推动对模型生成路径的细粒度评估研究。该数据集通过人工标注的效用分数和多层次路径过滤，为探索生成式模型在创意任务中的表现提供了实证基础。当前前沿方向集中于利用该数据训练可解释性评估框架，以量化创意输出的新颖性与实用性，并关联到提示工程和少样本学习的热点事件中。其影响在于为自动化创意辅助系统建立可靠基准，促进人机协作在艺术、设计等领域的深化应用。