JCQ

Japanese Creativity Questions (JCQ) 是一个由7个任务组成，每个任务包含100个问题的日语数据集，旨在评估创造性。这些任务包括非通常使用、结果、假定、情况、一般问题、改进和想象性故事。数据集以JSONL格式提供，每个记录包含一个唯一标识符、任务类型和问题。该数据集是通过OpenAI的o1-preview、GPT-4o和Anthropic的Claude 3.5 Sonnet生成的，经过人工精选以确保问题的多样性和质量。评估采用流畅性、灵活性、独创性和精致性四个指标。

搜集汇总

数据集介绍

构建方式

JCQデータセットは、創造性を評価するための7つの異なるタスクにわたる100問ずつの問題を含む日本語のデータセットとして構成されています。OpenAIのo1-preview、GPT-4o、AnthropicのClaude 3.5 Sonnetを用いた初期データ生成に加え、人間の手による精選と再生成を通じて、問題の多様性と質を確保しています。重複や不適切な内容は除外され、データの品質を高めるための細やかな調整が行なわれています。

特点

このデータセットは、創造性の評価に特化しており、非通常使用、結果、仮定、状況、一般的問題、改善、想像的物語という7つのタスクから成り立っています。各タスクは創造的な思考を引き出す質問を提供し、Torrance Test of Creative Thinking (TTCT)やZhaoらの研究を基盤としています。また、データはJSONL形式で提供され、各レコードは一意なID、タスク、質問文を含む構造を持ちます。

使用方法

JCQデータセットの使用方法としては、創造性評価のためのLLM-as-a-Judge評価が標準的なアプローチです。流暢性、柔軟性、独創性、精緻性の4つの指標を用いて、1から5のスケールで質問に対する評価を行います。データセットはCC BY 4.0ライセンス之下で公開されており、研究者や開発者は自由に利用できます。詳細な評価スクリプトはGitHubで公開予定であり、データの活用方法についてのガイドラインも提供される予定です。

背景与挑战

背景概述

JCQ数据集，旨在评估创造性思维，由NLP2025的研究论文中提出，包含了七个任务，每个任务包含100个问题。该数据集的构建参考了Torrance Test of Creative Thinking (TTCT)以及Zhao等人的研究，对推动日语自然语言处理领域，特别是在创造性评估方面的研究具有显著影响。

当前挑战

数据集在构建过程中遇到的挑战包括确保问题多样性和质量，避免重复和不适当的内容。研究者在创造性评估领域面临的挑战是如何准确有效地衡量创造性思维，包括流畅性、灵活性、独创性和精致性等方面的评价标准和方法。

常用场景

经典使用场景

JCQ数据集作为日本语创造性评估工具，其经典使用场景主要集中于对自然语言处理模型在创造性任务上的表现进行评测。该数据集包含了七种不同的任务类型，各包含一百个问题，能够全面考察模型在非寻常用途、结果预测、假设情境、对应状况、日常问题解决、改进建议以及想象性故事创作等多方面的创造性思维能力。

解决学术问题

JCQ数据集解决了在自然语言处理领域，特别是对于创造性思维评估的缺乏统一标准的问题。通过提供具有多样性和针对性的问题，该数据集使得研究者能够更加精确地衡量和比较不同模型在处理创造性任务时的性能，从而推动相关算法的改进和优化。

衍生相关工作

JCQ数据集的发布促进了相关领域的研究，衍生出了一系列经典工作。研究者基于该数据集进行了多种模型的创造性评估，并发表了相关论文，进一步推动了创造性评估方法论的完善和创造性人工智能技术的发展。