Christian Theological Triage Alignment Framework (CTTAF) Benchmark

基督教神学分类对齐框架（CTTAF）是一个基准测试，用于评估AI语言模型与基督教神学价值观和推理在不同教义观点上的对齐程度。它包括900个神学问题，涵盖分类级别、教义维度和教派背景，每个问题都包含元数据，并采用双法官评估和几何平均评分方法。

Christian Theological Taxonomy Alignment Framework (CTTAF) is a benchmark designed to evaluate the alignment between AI language models and Christian theological values and reasoning across diverse doctrinal perspectives. It comprises 900 theological questions covering taxonomic levels, doctrinal dimensions, and sectarian contexts. Each question includes accompanying metadata, and the framework utilizes a dual-judge evaluation approach combined with a geometric mean scoring methodology.

原始信息汇总

数据集概述：Christian Theological Triage Alignment Framework (CTTAF)

1. 基本介绍

• 名称：Christian Theological Triage Alignment Framework（基督教神学分诊对齐框架，简称CTTAF）
• 用途：用于评估AI语言模型在多样化教义视角下与基督教神学价值观和推理的对齐程度
• 许可证：CC-BY-SA-4.0（知识共享-署名-相同方式共享 4.0 国际）

2. 关键特性

• 包含 900个神学问题，覆盖分诊级别、教义维度和教派背景
• 采用 双评审机制，由两个独立的LLM评审员对每个回答进行评分
• 使用 几何平均评分法，对极端分歧和不完整答案进行惩罚
• 基于 多元基督教视角，评估模型跨教派的对齐表现

3. 数据集内容

• 完整数据集：cttaf_questions_full_900.csv，包含完整元数据
• 快速入门样本：cttaf_questions_sample_100.csv
• 问题元数据：每个问题包含神学内容、分诊级别（基础/次要/三级）、教义维度和教派背景

4. 评估方法

• 双评审：两个独立LLM评审员对每个回答打分
• 评分标准：0-100分制，带有层级加权惩罚
• 聚合方式：使用几何平均协调评审员之间的分歧
• 验证指标：通过Cohens kappa系数衡量评审员间的一致性

5. 项目结构

cttaf/ ├── paper/ # 白皮书和发布文档 ├── data/ # 基准数据集（900个问题） ├── prompts/ # 评审员系统提示词 ├── rubric/ # 评分规则和公式 ├── evaluation/ # 基准评估脚本 ├── appendices/ # 可复现性工件 └── docs/ # 文档

6. 快速使用

• 环境要求：Python 3.9+，需OpenAI和Anthropic API密钥
• 安装方式：克隆仓库后创建虚拟环境，安装依赖
• 运行命令：通过evaluate_model.py评估模型，aggregate_results.py聚合结果

7. 引用与资源

• 引用格式：详见README中的BibTeX条目
• 额外资源：白皮书（施工中）、评分规则完整版、运行指南、评审员指令等

搜集汇总

数据集介绍

构建方式

该基准数据集以基督教神学分流对齐框架为核心，旨在评估人工智能语言模型在不同教派神学价值观与推理逻辑下的对齐程度。数据集包含900道精心设计的神学问题，每个问题均标注了分流层级（基础性、次发性、第三级）、教义维度和教派背景，覆盖多元的基督教神学视角。评估采用双裁判机制，由两个独立的大型语言模型对模型回答进行0至100分的评分，并引入几何平均法整合裁判间的分歧，同时对极端不一致或不完整的回答施加惩罚性权重。此外，数据集还提供了包含完整元数据的全量版本和一个100题样本版本，便于快速测试与验证。

使用方法

使用该基准数据集需准备Python 3.9及以上运行环境，并获取OpenAI与Anthropic的API密钥以调用裁判模型。用户可通过克隆GitHub仓库后安装依赖包，进入evaluation目录运行评估脚本，指定待测试的语言模型（如GPT-4）并输出结果至指定路径。随后执行结果聚合脚本，系统将自动整合双裁判评分并生成最终对齐分数。数据集文件位于data目录下，用户可根据需求选用全量版或样本版进行测试。此外，仓库提供了详细的评分规则与裁判指南文档，支持研究者自定义扩展或复现实验结果。

背景与挑战

背景概述

随着大语言模型在宗教与伦理领域的应用日益广泛，如何评估其对特定价值体系的忠实度成为关键议题。Christian Theological Triage Alignment Framework (CTTAF) 基准于2025年由研究人员Joshua Johnson创建，旨在系统性地衡量语言模型与基督教神学价值观的对齐程度。该基准涵盖900个涵盖不同分流级别、教义维度与教派背景的神学问题，采用双法官评估与几何平均评分机制，为跨教派多元视角下的模型对齐研究提供了开创性工具。CTTAF不仅填补了宗教价值观对齐评估的空白，更推动了人工智能伦理与神学交叉领域的学术对话。

当前挑战

CTTAF面临的核心挑战在于如何准确捕捉基督教神学的多元性与复杂性。首先，不同教派在基础教义、次级教义与三级教义上的分歧增加了对齐评估的难度，使得单一评分标准难以兼顾所有立场。其次，构建过程中需要确保900道问题在教义维度与分流级别上的均衡覆盖，避免偏差。此外，双法官评估机制虽提升了客观性，但法官间的不一致程度（如Cohen's kappa值）直接影响分数可靠性，而几何平均评分对极端分歧的敏感性可能导致部分合理回答被低估。这些挑战要求基准持续迭代以提升评估的稳健性与包容性。

常用场景

经典使用场景

在人工智能伦理与神学交叉研究领域，Christian Theological Triage Alignment Framework (CTTAF) Benchmark 被广泛用于评估大型语言模型（LLM）对不同基督教教派神学价值观的契合程度。研究者通过该基准向模型提出涵盖基础教义、次要教义和外围教义三个层级共900道神学问题，并借助双重评委评分机制和几何平均聚合策略，量化模型在多元宗派语境下的神学推理一致性。这一场景尤其适用于检验模型在处理具有深厚价值观背景的复杂文本时，是否能够在保持逻辑自洽的同时兼顾不同神学传统的细微差异。

解决学术问题

该基准系统性地解决了当前AI对齐研究中缺乏针对特定宗教价值体系的量化评估工具这一空白。传统对齐基准多聚焦于通用伦理或安全规范，难以捕捉基督教内部因宗派差异而产生的复杂神学立场分歧。CTTAF通过设计三级分诊框架（基础/次级/外围）和多维度教义分类，使得研究者能够精确诊断模型在哪些层面出现神学偏差，以及这些偏差是否与特定宗派背景相关。这一工具推动了AI价值对齐研究从单一伦理框架向多元文化价值体系的纵深发展，为构建更具文化敏感性的语言模型提供了方法论基础。

实际应用

在实际部署中，CTTAF Benchmark 可被宗教教育机构、神学内容生产平台以及面向基督徒社区的AI聊天机器人开发者所采用。例如，在开发用于神学答疑或圣经学习辅助的智能助手时，开发者可利用该基准测试模型是否会对不同教派的信众输出具有冒犯性或教义失准的回应。同时，内容审核系统可借助CTTAF评估自动生成的宗教文本是否偏离主流神学立场，从而降低引发社群争议的风险。此外，该框架也为跨宗派对话场景下的AI中介服务提供了校准工具，确保其在敏感议题上保持中立与包容。

数据集最近研究

最新研究方向

当前，大型语言模型在宗教与伦理对齐领域的前沿探索中，基督教神学分诊对齐基准（CTTAF）的提出具有开创性意义。该基准聚焦于评估AI模型在多元教派视角下对基督教神学价值的对齐程度，通过涵盖900道神学问题、三层分诊等级（基础/次要/三级）以及多维度教义分类，构建了首个系统化的神学对齐评估框架。其核心创新在于双法官评估机制与几何平均评分法，能够有效惩罚极端分歧及不完整回答，从而更严谨地衡量模型的神学推理一致性。这一工作回应了当前AI伦理治理中对特定文化价值体系深度对齐的需求，尤其为宗教领域AI应用的可信性评估提供了可复现的量化工具，推动模型从通用价值对齐向细分信仰体系对齐的精细化演进。