declare-lab/cicero

CICERO是一个用于对话推理的新数据集，包含53,000个关于五种常识维度（原因、后续事件、前提、动机和情感反应）的推理，这些推理来源于5,600个对话。数据集设计了生成推理和多选答案选择任务，以展示其在对话推理中的实用性。文本语言为英语。数据集的创建基于DailyDialog、DREAM和MuTual三个现有数据集，并通过人工注释和对抗过滤算法生成答案选项。

CICERO is a novel dataset for conversational reasoning. It encompasses 53,000 reasoning samples across five common-sense dimensions: cause, subsequent event, premise, motivation, and emotional response, sourced from 5,600 dialogues. Two tasks, namely generative reasoning and multiple-choice answer selection, are designed for this dataset to demonstrate its utility in conversational reasoning scenarios. All text in the dataset is in English. The dataset is constructed based on three existing datasets: DailyDialog, DREAM, and MuTual, and its answer options are generated via manual annotation and adversarial filtering algorithms.

原始信息汇总

数据集概述

名称: CICERO

描述: CICERO是一个用于对话推理的新数据集，包含53,000个推理实例，涵盖五个常识维度：原因、后续事件、先决条件、动机和情感反应。数据集从5,600个对话中收集，设计了生成推理和多选择答案选择任务，以展示其在对话推理中的应用。

支持任务:

• 推理生成（NLG）
• 多选择答案选择（QA）

语言: 英语（BCP-47代码：en）

数据集结构

数据字段:

• ID: 对话ID与数据集指示符。
• Dialogue: 对话的语句列表。
• Target: 目标语句。
• Question: 五个问题之一（推理类型）。
• Choices: 五个可能的答案选择列表，其中一个答案由人编写，其他四个由机器生成并通过对抗过滤算法选择。
• Human Written Answer: 人编写答案的索引，索引从0开始。
• Correct Answers: 人类标注者标记为合理或推测正确的所有正确答案列表，包括人编写答案的索引。

数据实例:

{ "ID": "daily-dialogue-1291", "Dialogue": [ "A: Hello , is there anything I can do for you ?", "B: Yes . I would like to check in .", "A: Have you made a reservation ?", "B: Yes . I am Belen .", "A: So your room number is 201 . Are you a member of our hotel ?", "B: No , whats the difference ?", "A: Well , we offer a 10 % charge for our members ." ], "Target": "Well , we offer a 10 % charge for our members .", "Question": "What subsequent event happens or could happen following the target?", "Choices": [ "For future discounts at the hotel, the listener takes a credit card at the hotel.", "The listener is not enrolled in a hotel membership.", "For future discounts at the airport, the listener takes a membership at the airport.", "For future discounts at the hotel, the listener takes a membership at the hotel.", "The listener doesnt have a membership to the hotel." ], "Human Written Answer": [ 3 ], "Correct Answers": [ 3 ] }

数据分割:

• 训练集: 31,418个实例
• 验证集: 10,888个实例
• 测试集: 10,898个实例

数据集创建

源数据:

• 对话数据来自三个数据集：DailyDialog, DREAM, 和 MuTual。

引用信息:

@inproceedings{ghosal2022cicero, title={CICERO: A Dataset for Contextualized Commonsense Inference in Dialogues}, author={Ghosal, Deepanway and Shen, Siqi and Majumder, Navonil and Mihalcea, Rada and Poria, Soujanya}, booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)}, pages={5010--5028}, year={2022} }

搜集汇总

数据集介绍

构建方式

CICERO数据集旨在推动对话推理中的常识性推断研究，其构建融合了来自DailyDialog、DREAM和MuTual三个源数据集的5.6K对话。通过人工标注与对抗过滤算法相结合的方式，针对因果、后续事件、前提、动机及情感反应五个常识维度，生成了约53K条推断实例。每个实例包含一条目标话语及对应的五选一选择题，其中正确答案由人工撰写，其余干扰项由机器生成并经对抗过滤筛选，确保了数据集的高质量与挑战性。

特点

该数据集的核心特点在于其多维度常识推理的覆盖与结构化设计。每个样本不仅提供对话上下文和目标话语，还明确标注了推理类型（如动机或情感反应），并包含人工撰写的正确答案及经对抗过滤产生的干扰选项，形成了兼具生成与多项选择任务的评估框架。此外，数据集规模庞大，包含超过31K训练实例、10K验证实例及10K测试实例，支持从文本生成到问答的多样化推理能力测试。

使用方法

CICERO主要支持两类任务：推断生成与多项选择问答。在推断生成任务中，模型需基于对话上下文和目标话语，输出符合指定常识维度的合理推断。在多项选择任务中，模型从五个选项中选出人工撰写的正确答案。数据集以JSON格式存储，每条记录包含对话列表、目标索引、问题类型及选项列表，用户可直接加载用于训练或评估。推荐将数据划分为训练、验证和测试集，并利用官方提供的基线模型进行性能对比。

背景与挑战

背景概述

在自然语言处理领域，对话推理要求模型不仅理解字面语义，还需捕捉隐含的常识知识。2022年，由Deepanway Ghosal、Siqi Shen、Navonil Majumder、Rada Mihalcea和Soujanya Poria等研究人员联合发布的CICERO数据集，旨在填补对话系统中常识推理能力的空白。该数据集基于DailyDialog、DREAM和MuTual三个对话语料库构建，包含约5.6K段对话和53K条常识推理实例，覆盖因果、后续事件、前提条件、动机及情感反应五个维度。其核心研究问题在于如何让机器在对话上下文中进行情境化的常识推断，从而提升对话系统的理解与生成质量。CICERO的提出为对话推理领域提供了标准化的评估基准，推动了多选问答与生成任务的进展，对后续研究具有重要影响。

当前挑战

CICERO数据集所面对的挑战首先体现在领域问题的复杂性上：对话中的常识推理需要模型在动态上下文中捕捉隐含的、多维度的人际关系与逻辑链条，这比静态文本推理更易产生歧义。例如，同一句话在不同对话历史下可能指向不同的动机或情感反应，模型需具备强大的语境依赖能力。其次，数据集构建过程中面临显著挑战：为确保答案的区分度，研究团队采用对抗过滤算法生成干扰项，但机器生成的候选答案可能引入噪声或语义偏差；同时，人工标注需在五个常识维度上达成一致，标注者需对对话背景有深刻理解，导致标注成本高、一致性控制困难。这些因素共同构成了CICERO在推动对话推理研究时必须克服的关键障碍。

常用场景

经典使用场景

CICERO数据集的核心应用场景在于对对话系统进行深度推理能力的评测与训练，尤其聚焦于基于上下文的常识推断任务。该数据集巧妙融合了因果、后续事件、前提条件、动机以及情感反应这五个常识维度，通过生成式与多项选择两种任务形式，为对话理解模型提供了从表层语义到深层认知推理的跨越式挑战。研究者可借助CICERO检验模型是否具备在复杂对话流中捕捉隐含逻辑链条、推断人物意图与情感状态的能力，从而推动对话系统从简单的模式匹配迈向真正的语义理解。

解决学术问题

在学术研究领域，CICERO直面了传统对话数据集缺乏系统性常识推理标注的瓶颈。以往多数资源仅关注对话的表面属性，如情感极性或行为分类，而忽视了对话中潜藏的因果链与动机网络。CICERO通过引入对抗过滤算法精心构造干扰项，解决了推理任务中负样本质量不足的问题，为评估模型在噪声环境下的鲁棒推理能力提供了可靠基准。这一创新不仅填补了对话常识推理标准数据集的空白，更激发了学界对机器在开放域对话中模拟人类直觉推理过程的深入探索。

衍生相关工作

CICERO的提出催生了一系列围绕对话常识推理的后续经典工作。其五维度推理框架被后续研究广泛借鉴，例如相关工作将常识推理与知识图谱融合，构建了更具结构化的常识对话模型。另有研究者基于CICERO的对抗过滤机制，进一步优化了负样本生成策略，提升了推理任务的难度与区分度。此外，CICERO的标注范式也启发了多模态对话推理数据集的设计，推动视觉与文本信息在常识推断中的联合建模。这些衍生工作共同构筑了对话系统从浅层匹配到深层认知的演进脉络。