CToMPersu

CToMPersu是一个大规模的多领域、多轮次的劝说对话数据集，由东南大学的研究团队创建。该数据集涵盖了35个领域的6275条对话和6257个独特场景，有效解决了双向盲条件的问题，并解决了对话逻辑不一致的问题。该数据集在多个评价指标上表现出色，并与真实的人类对话具有更好的匹配度。

CToMPersu is a large-scale multi-domain, multi-turn persuasive dialogue dataset developed by the research team at Southeast University. This dataset covers 6,275 dialogues and 6,257 unique scenarios across 35 domains, effectively resolving two key challenges: the bilateral blind condition and logical inconsistency in dialogues. It achieves strong performance across multiple evaluation metrics and demonstrates better alignment with real human conversational data.

搜集汇总

数据集介绍

构建方式

CToMPersu数据集的构建采用了ToMMA框架，该框架基于因果心智理论，并采用多智能体方法。首先，从DailyPersuasion数据集中筛选出独特的场景，并生成说服者的心理状态。然后，设计说服者和被说服者两个智能体，确保它们在双盲条件下操作，没有共享信息，同时遵循因果心智理论来生成有说服力的对话。最后，引入观察者智能体来评估说服者的推理和说服性陈述，以提供改进建议，确保对话质量和逻辑一致性。

特点

CToMPersu数据集具有以下特点：1) 多领域、多轮次的对话，涵盖了35个领域和6257个独特场景；2) 双盲条件下的说服对话，确保说服者和被说服者之间没有信息泄露；3) 基于因果心智理论，说服者通过推断被说服者的心理状态来构建论点，更符合人类的说服动态；4) 包含观察者智能体提供反馈和建议，以改进对话质量和逻辑一致性。

使用方法

CToMPersu数据集可用于训练和评估说服性对话生成模型。研究人员可以使用该数据集来训练模型，使其能够更好地理解说服者和被说服者的心理状态，并生成更具说服力的对话。此外，该数据集还可以用于评估现有模型的性能，并发现模型的不足之处，从而促进模型的发展。

背景与挑战

背景概述

在人类交流中，说服性对话扮演着至关重要的角色，影响着各个领域。近年来，说服性对话数据集往往与现实世界的人际互动脱节，导致表现不够真实。例如，可能出现不现实的场景，如说服者被告知使用哪些说服策略，每个说服者的问题都对应着说服者需要遵循的特定策略。这种问题可以归因于违反了“双重盲”条件，即参与者之间共享所有关键信息。然而，在实际的人类互动中，关键信息——如说服者的心理状态和说服策略——并不直接可得。说服者必须利用心智理论能力来推断说服者的心理状态，并构建与说服者的动机相符的论点。为了解决这个问题，我们引入了ToMMA，一个由因果心智理论指导的对话生成多智能体框架。该框架确保了代理之间的信息保持未公开，保留了“双重盲”条件，而因果心智理论则指导说服者的推理，增强了与人类说服动态的一致性。因此，我们提出了CToMPersu，一个多领域、多轮次的、基于因果心智理论的说服性对话数据集，该数据集解决了“双重盲”和逻辑一致性等问题，在多个指标上表现出优异的性能，并且更好地与现实人类对话相一致。我们的数据集和提示可在https://github.com/DingyiZhang/ToMMACToMPersu找到。

当前挑战

说服性对话生成在各种AI应用中至关重要，包括教育、医疗保健、咨询和商业营销。有效的说服系统必须集成意图检测以理解说服者的意图、策略检测以识别合适的说服技巧以及信誉维护以确保可信度。尽管大型语言模型（LLMs）在自然语言处理方面取得了显著进展，但生成类似于人类的说服性对话仍然是一个重大挑战。当前的人类对话数据集主要是特定领域的，例如专注于慈善筹款、产品推荐或医疗咨询的数据集。这种狭隘的关注限制了模型在不同说服性上下文中泛化的能力，阻止了它们充分利用大规模、预训练模型的好处。此外，这些数据集的相对较小规模阻碍了能够生成策略合理且个性化响应的说服性系统的开发。尽管最近有研究探索使用GPT-4创建大规模、多领域的说服性对话数据集，但由于提示和框架设计的局限性，仍然存在一些问题。例如，对话的逻辑流程中存在不一致性，说服者在阐述自己的立场时无意中强化了说服者的论点，从而削弱了自己的立场。此外，说服者明确指示说服者采用哪些说服策略的不现实行为也很普遍。在现实生活中，关键信息，如说服者的心理状态和说服策略，并不直接可得。相反，说服者必须利用心智理论（ToM）能力来推断说服者的心理状态，并构建与说服者的心理状态相共鸣的论点。为了进一步验证我们的发现，我们使用提出的评估指标定量比较了两个数据集：PersuasionForGood，一个专注于说服人们捐赠的小型数据集，以及DailyPersuasion，一个由GPT-4生成的具有更多样化场景和更广泛对话模式的大型数据集。我们引入的评估方法称为因果心智理论评估。结果表明，尽管LLM生成的数据集从LLM评估者的角度来看具有说服力，但当根据人类推理进行判断时，许多说服者仍然无法被说服。这些结果证明了我们评估方法的合理性，并突出了LLM生成的数据集的真实性不足。解决这些挑战对于开发更准确地反映真实人类对话动态的AI驱动说服性系统至关重要。为此，我们采取了三个关键步骤来增强说服性对话生成的真实性和逻辑一致性：（1）我们引入了一种基于因果心智理论的新型数据集评估方法，其中LLM首先从对话中推断说服者的信念和欲望，然后评估说服者是否成功地解决了它们。当应用于人类对话数据集时，这种方法产生了与直接提示一致的结果，其中LLM直接确定说服者是否被说服。然而，当在LLM生成的数据集上进行测试时，出现了显著的差异，揭示出模型生成的说服与现实人类互动之间的关键差距。（2）我们提出了ToMMA，一个用于生成说服性对话数据集的多智能体框架。ToMMA确保说服者和说服者都在“双重盲”条件下操作，防止信息泄露并保持真实对话中固有的自然不确定性。此外，整个多轮对话都由因果心智理论引导，使说服者能够根据对说服者心理状态的推断来构建论点，从而促进更类似于人类的说服动态。（3）我们介绍了CToMPersu，一个包含6,275个对话、跨越35个领域和6,257个独特场景的大规模、多领域、多轮次的、基于因果心智理论的说服性对话数据集。该数据集有效地解决了“双重盲”约束并解决了对话逻辑不一致性，在多个评估指标上表现出强大的性能，并且与现实人类对话更好地一致。

常用场景

经典使用场景

CToMPersu数据集在多领域对话生成中具有重要的应用价值。该数据集通过模拟真实的人际交互场景，为研究人员提供了丰富的对话数据，有助于训练和评估对话生成模型的性能。尤其是在生成具有逻辑一致性和真实性的说服性对话方面，CToMPersu数据集展现出了卓越的性能。此外，该数据集还支持研究人员对对话生成模型的意图检测、策略识别和可信度维护等方面进行深入研究，为构建更加智能和人性化的对话系统提供了重要的数据基础。

解决学术问题

CToMPersu数据集的提出，旨在解决现有说服性对话数据集中存在的逻辑不一致和缺乏真实性的问题。通过对对话生成模型的评估，发现许多模型生成的对话存在逻辑断裂、说服力不足等问题，这与真实人际交互中的对话存在较大差距。CToMPersu数据集通过引入因果心智理论（Causal Theory of Mind）和多智能体框架（ToMMA），确保了对话的逻辑一致性和真实性，为说服性对话生成研究提供了新的思路和方法。该数据集的提出，对于推动对话生成领域的学术研究具有重要意义。

衍生相关工作

CToMPersu数据集的提出，衍生了一系列相关的研究工作。例如，基于CToMPersu数据集，研究人员可以进一步探索对话生成模型的意图检测、策略识别和可信度维护等方面的技术和方法。此外，研究人员还可以利用CToMPersu数据集，对对话生成模型的性能进行评估和优化，以提高对话生成模型的质量和实用性。CToMPersu数据集的提出，为对话生成领域的学术研究和实际应用提供了重要的数据基础，推动了该领域的进一步发展。