Numerical Turing Test

NTT: Numerical Turing Test -- Data Archive Overview This archive contains the data, prompts, and results for the Numerical Turing Test (NTT) study, which evaluates whether large language models can generate financial transaction amounts that are statistically indistinguishable from real human data. Contents data/ Raw LLM-generated outputs and real reference datasets: LLM outputs: Transaction amounts generated by Claude, ChatGPT, Gemini, and Grok under 15+ prompt conditions (A through M3), with multiple replicates per condition. Reference data: Real financial transaction amounts from public datasets (e.g., NYC taxi tips) used as ground truth for statistical comparison. Cross-currency outputs: LLM-generated amounts in GBP, EUR, JPY, INR, and CNY. prompts/ Exact prompt text used for each experimental condition. See prompts/README.md for the full condition taxonomy (baseline, coached, adversarial, chain-of-thought, few-shot, iterative, decomposition, and code generation). results/ Pre-computed analysis results including: Benford's Law analysis (first and second digit) Round-number frequency analysis Value repetition and serial correlation tests CBAD compression-based analysis Prime factorization encoding metrics Aggregate NTT scores and classification results Forensic Test Battery Each sample (real or LLM-generated) is evaluated on: Benford's Law -- First-digit and second-digit distribution vs. expected log frequencies Round-number rates -- Frequency of amounts ending in .00, .50, .25, .75 Value repetition -- Duplicate and near-duplicate detection Serial correlation -- Lag-1 autocorrelation in amount sequences Prime factorization analysis (CBAD) -- Compression-based anomaly detection on factor-encoded cent values File Formats .csv -- Tabular data (amounts, results, metadata) .txt -- Raw LLM output (one amount per line) and prompt text .json -- Structured results and configuration Citation If you use this data, please cite: @article{gordon2025ntt, title={The Numerical Turing Test: Can LLMs Generate Statistically Human Financial Data?}, author={Gordon, Craig S.}, year={2026}} License See LICENSE file for terms.NTT：数值图灵测试（Numerical Turing Test）——数据档案库 ## 概述 本档案库包含数值图灵测试（Numerical Turing Test，简称NTT）研究所需的数据、提示词与实验结果，旨在评估大语言模型（Large Language Model，以下简称LLM）能否生成在统计学层面与真实人类数据无法区分的金融交易金额。 ## 内容 ### data/ 目录 原始LLM生成输出与真实参考数据集： - LLM生成输出：Claude、ChatGPT、Gemini与Grok在15种以上提示词条件（编号A至M3）下生成的交易金额，每个条件均包含多组重复实验样本。 - 参考数据集：来自公开数据集（如纽约出租车小费数据）的真实金融交易金额，用作统计对比的基准真值。 - 跨币种输出：LLM生成的英镑（GBP）、欧元（EUR）、日元（JPY）、印度卢比（INR）与人民币（CNY）计价的交易金额。 ### prompts/ 目录 本目录包含各实验条件所用的精确提示词文本。完整的条件分类体系（包括基准条件、引导式条件、对抗式条件、思维链（Chain-of-Thought）、少样本（Few-shot）、迭代式、分解式与代码生成式）详见`prompts/README.md`文件。 ### results/ 目录 本目录包含预计算完成的分析结果，具体包括： - 本福德定律（Benford's Law）分析（首位与第二位数字分布） - 整额频率分析 - 数值重复与序列相关性检验 - 基于CBAD压缩的分析 - 质因数编码指标 - 综合NTT得分与分类结果 ## 溯源分析测试套件 每个样本（真实数据或LLM生成数据）均需在以下维度进行评估： - 本福德定律分析：对比首位、第二位数字分布与预期对数频率 - 整额比率：交易金额以`.00`、`.50`、`.25`或`.75`结尾的频率 - 数值重复检测：重复与近似重复金额的识别 - 序列相关性：交易金额序列的一阶滞后自相关性 - 质因数分解分析（CBAD）：基于压缩算法的分位编码金额异常检测 ## 文件格式 - `.csv` 格式：表格数据（包含交易金额、分析结果与元数据） - `.txt` 格式：原始LLM输出（每行一个交易金额）与提示词文本 - `.json` 格式：结构化分析结果与配置信息 ## 引用说明 若使用本数据集，请引用以下文献： @article{gordon2025ntt, title={"The Numerical Turing Test: Can LLMs Generate Statistically Human Financial Data?"}, author={Gordon, Craig S.}, year={2026}} ## 许可条款 使用条款详见LICENSE文件。