Cognitive Reasoning Dataset
收藏arXiv2025-09-27 更新2025-09-30 收录
下载链接:
https://github.com/thu-coai/CogFlow
下载链接
链接失效反馈资源简介:
该数据集通过模拟人类思维,使用树状结构规划来收集认知流,并使用高级语言模型进行数据过滤和筛选,最终形成了一个用于社交认知的数据集。该数据集旨在帮助大型语言模型(LLMs)提高社交认知能力,以便更好地处理社交场景中的复杂情况。
提供机构:
清华大学计算机科学与技术系自然语言处理与社会人文计算实验室
创建时间:
2025-09-27
原始信息汇总
CogFlow数据集概述
数据集简介
CogFlow是一个基于人类社交认知建模的认知推理范式数据集,旨在弥补大语言模型在社交情境推理方面的不足。该数据集将解释性过程构建为相互连接的认知单元组成的结构化认知流,通过自适应组合实现有效的社交思维和响应。
核心特征
- 模拟人类思维的联想性和渐进性特征
- 采用树状结构规划生成认知流
- 包含观察、归因等相互连接的认知单元
- 支持社交认知能力的增强训练
训练框架
监督微调阶段
- 通过监督微调注入基本认知推理能力
- 使用树状结构规划生成的认知流数据集
强化学习阶段
- 采用多目标奖励机制优化认知流和响应质量
- 通过试错过程实现模型自我改进
- 结合认知流质量和响应质量的双重优化目标
实验验证
实验结果表明,CogFlow能有效增强大语言模型的社交认知能力,并提升人类的社会决策效果。
相关资源
- 数据生成:查看data_generation目录
- 监督微调:查看Llama-Factory目录获取指导
- 强化学习:查看veRL目录获取指导
- 评估工具:查看test目录
AI搜集汇总
数据集介绍

构建方式
在社交认知计算领域,构建高质量数据集面临社会情境复杂性与答案不确定性的双重挑战。本研究通过树状认知流模拟技术构建数据集:首先从Reddit平台筛选5100个多人在线社交情境作为种子数据,经深度匿名化处理后,采用大型语言模型模拟人类认知的联想递进特性,以观察单元为根节点逐步生成归因、动机等六大认知单元,形成分支推理树;继而通过双阶段偏好排序机制,基于社会认知理论构建连贯性、可解释性与可预测性三重过滤标准,从众多认知流中筛选出高质量样本,最终形成包含3661条认知流的高质量训练数据。
特点
该数据集在社交推理领域展现出显著特征:其认知流结构模拟人类社交思维过程,将观察、归因等六个核心认知单元通过动态连接形成结构化推理路径,有效避免传统逻辑推理在社交场景中的认知反刍现象;数据覆盖家庭、友谊、职业等五大社交类别十六个子类,情境复杂度显著高于现有社交推理数据集;每条认知流平均包含4个认知单元,在保持推理深度的同时将平均推理长度控制在400词元以内,实现了认知深度与效率的平衡;通过专家验证的数据质量达到96.8%通过率,确保了数据的可靠性与实用性。
使用方法
该数据集支持多层次社交认知能力训练:在监督微调阶段,模型学习将认知单元标签作为特殊标记嵌入词汇表,通过最小化标准SFT损失函数掌握结构化认知推理能力;在强化学习阶段,采用多目标奖励机制引导模型自主优化认知流,其中比较偏好奖励通过专用奖励模型评估响应质量,认知多样性奖励鼓励探索不同推理路径,推理长度奖励防止过度思考,结构格式奖励确保输出规范性;最终模型能够生成符合社交认知理论的高质量推理过程,为社交决策提供透明可解释的思维轨迹。
背景与挑战
背景概述
认知推理数据集由清华大学CoAI团队与华为诺亚方舟实验室于2025年联合构建,旨在解决大语言模型在社交情境中的认知推理缺陷。该数据集基于社会认知理论框架,将人类社交思维过程解构为观察、归因、动机等六个认知单元,通过树状规划模拟人类思维的联想性与渐进性特征。其核心研究问题聚焦于如何将传统逻辑推理范式转化为适用于社交场景的阐释性推理,为人工智能社交智能的发展提供了结构化认知范式与训练基础。
当前挑战
该数据集面临双重挑战:在领域问题层面,需突破传统逻辑推理对确定性答案的依赖,建立适用于社交场景中模糊线索分析的阐释性推理范式;在构建过程中,需通过树状规划模拟人类认知流程的动态分支,并设计基于相对合理性的偏好排序机制以解决社交场景中缺乏标准答案的评估难题。同时需平衡认知单元的多样性探索与推理链长度控制,避免陷入认知反刍的无效循环。
常用场景
经典使用场景
在社交智能研究领域,Cognitive Reasoning Dataset最经典的运用场景是评估和提升大语言模型对复杂社交情境的认知推理能力。该数据集通过模拟真实社交互动中的多维度认知单元,如观察、归因、动机调节等,构建出结构化认知流。研究人员利用这些精心设计的社交场景,能够系统分析模型如何理解微妙的人际暗示、预测行为反应,并生成符合社会规范的合理回应。这种结构化认知框架为探索机器社交智能提供了标准化实验平台。
衍生相关工作
该数据集催生了系列创新性研究,其中最具代表性的是CogFlow训练框架。该框架通过树状认知流模拟、偏好排序筛选和多目标强化学习的三阶段训练,首次实现了社交认知能力的内化。后续研究在此基础上拓展出认知单元自适应调度机制、跨文化社交推理评估等方向。同时启发了SocialMaze等社交推理基准的构建,推动了Theory of Mind在语言模型中的量化研究,形成以结构化认知推理为核心的新兴研究范式。
数据集最近研究
最新研究方向
在社交智能计算领域,Cognitive Reasoning Dataset的引入标志着从传统逻辑推理向社交认知范式的关键转型。该数据集通过模拟人类社交认知中的结构化认知单元(如观察、归因、动机等),构建动态认知流以解析模糊社交情境中的多义性线索。前沿研究聚焦于将认知理论与大语言模型训练深度融合,通过树状规划生成认知流数据,并结合基于偏好的监督微调与多目标强化学习,优化模型对社交动态的适应性与解释力。这一方向不仅解决了传统演绎推理在社交场景中易陷入‘认知反刍’的局限,更在增强模型社交决策效能的同时,为人类认知干预提供了可迁移的结构化思维框架,推动了人机协同社交智能的发展。
相关研究论文
- 1Think Socially via Cognitive Reasoning清华大学计算机科学与技术系自然语言处理与社会人文计算实验室 · 2025年
以上内容由AI搜集并总结生成



