Ancient Greek human-vs-LLM stylometry corpus

该数据集是一个古希腊人类与大型语言模型（LLM）风格计量学语料库，用于比较最先进的LLM（如GPT-5.5、Claude 4.8）与人类阿提卡演说家在古希腊语写作上的相似性。数据源包括119篇人类阿提卡演说家文本（10位作者），分析单元为句子/词对齐的块（chunk），设计条件包括两种提示（限制性重写和自由重写）和多种模型版本，并包含特征提取和嵌入分析。数据集以CC BY-SA 4.0许可证发布，适用于语言资源和评估研究。

This dataset is an Ancient Greek stylometric corpus for comparing the writing stylistic similarity between state-of-the-art large language models (LLMs, e.g., GPT-5.5, Claude 4.8) and human Attic orators. Its data sources include 119 texts from human Attic orators across 10 authors. The analysis units are sentence- and word-aligned chunks. The experimental design covers two prompt types (restrictive rewriting and free rewriting) and multiple model versions, as well as feature extraction and embedding analysis. This dataset is released under the CC BY-SA 4.0 license, and is applicable to language resource and evaluation research.

原始信息汇总

数据集概述

该数据集是一个面向古希腊语的文体风格分析与评估资源，专门用于比较顶尖大语言模型（GPT-5.5、Claude 4.8、GPT-4o、Claude 3.5）生成的古希腊语文本与人类阿提卡演说家（共10位作者、119篇原文）在文体和语言学特征上的相似性。

核心用途

• 评估当代LLM生成古希腊语文本的文体逼真度。
• 比较不同代模型（旧版 GPT-4o / Claude 3.5 vs. 新版 GPT-5.5 / Claude 4.8）在模仿古希腊语方面的进步。
• 提供一个可复现的块级（chunk-level）文体测量与语言学评估流水线。

数据集构成

• 来源：119篇人类阿提卡演说家文本（10位作者）。
• 分析单元：块（句子/词对齐），长度通过校准实验确定，确保模型能忠实复现原文长度。
• 条件：2种提示（Restricted —— 尽量贴近原文包括长度；Free —— 保留语义但灵活表达） × 4个模型（GPT-5.5、Claude 4.8、GPT-4o、Claude 3.5）。
• 类别体系：Category1=系统，Category2=作者，Category3=提示类型，Category4=标签，扩展含 doc_id、chunk_id、chunk_index、model_version、text_file。

数据文件组织

• data/：块、生成的重写文本、特征、嵌入向量。
• configs/：中心配置（路径、模型ID、设计、分块参数）。
• prompts/：版本化的受限（Restricted）和自由（Free）提示。
• output/：日志、表格、图表及分析输出。
• env/：固定依赖需求与环境说明。

可复现性

提供完整的Python 3.12流水线，按序执行：

1. 探测可用模型ID；
2. 校准块大小；
3. 构建语料库块清单；
4. 生成模型重写文本；
5. 提取块级特征与嵌入向量；
6. 运行预设分析（含SOTA统计与纵向比较）。

• 需设置 OPENAI_API_KEY 和 ANTHROPIC_API_KEY。
• 嵌入距离矩阵文件（.npy，约333 MB）因GitHub限制未包含，可通过重新运行嵌入分析生成。

许可与引用

• 代码许可：MIT。
• 数据/语料许可：CC BY-SA 4.0（人类文本源于Perseus数字图书馆版本，继承相同许可，再分发需署名并遵循相同条款）。
• 引用：请引用其Zenodo存档（DOI: 10.5281/zenodo.20584471），机器可读元数据见 CITATION.cff。

注意事项

• 分析引擎复用自作者前期工作，需适配当前项目的列模式。
• 默认torch为CPU版本，可安装CUDA版以加速嵌入/困惑度计算。
• Claude 3.5已不被当前API支持，故其数据使用旧有文档（未重新分块）作为纵向比较基准。

搜集汇总

数据集介绍

构建方式

该数据集以119篇古希腊阿提卡演说家的人类文本为源材料，通过句子/词语对齐的分块策略，将文本划分为固定大小的语块作为分析单元。基于限权改写与自由改写两种提示条件，调用GPT-5.5、Claude-4.8及旧版GPT-4o等前沿语言模型生成对应改写文本，构建了涵盖系统、作者、提示类型与标签多维分类体系的语料库。同时纳入历史版本Claude-3.5的文档数据，形成纵向比较基线。

特点

数据集的核心特色在于其精细化的分层设计：通过校准实验确定最佳分块尺寸，确保模型忠实复现原文长度；双提示条件的设计使研究者能区分模型在紧密改写与灵活改写下的风格差异。集成嵌入特征提取与6610维距离矩阵，支持从词汇、句法到语义的跨层次文体分析。纵向比较维度揭示了GPT-4o到GPT-5.5、Claude-3.5到Claude-4.8的代际演变轨迹。

使用方法

研究者可通过Python 3.12环境配置API密钥后，运行分步式处理流水线：首先校准分块尺寸并构建语料清单，继而调用各模型生成改写文本，随后提取语言学特征与Ancient-Greek-BERT嵌入。最终调用预置分析引擎执行文体特征统计、最先进模型对比及纵向趋势分析，所有结果以表格与可视化形式输出至指定目录，便于复现与扩展研究。

背景与挑战

背景概述

在自然语言处理与古典学交叉的前沿领域，区分人类与大型语言模型生成的文本已成为一项关键挑战。该数据集由George Mikros于2026年创建，旨在系统评估GPT-5.5、Claude 4.8等前沿模型在撰写古希腊阿提卡散文时的风格相似性。研究聚焦于119篇古典演说家文本，通过受控改写实验与细粒度语块级文体分析，揭示了当前生成式语言模型在模仿人类文风方面的能力边界。该资源已发表于《Language Resources and Evaluation》（Springer），其提出的评估范式为计算文体学提供了新的方法论框架，并对理解大语言模型在古典语言领域的行为特征具有重要启发。

当前挑战

数据集面临的核心挑战在于如何精准捕捉人类与机器在古希腊语写作中的细微差异。语体分析需突破传统词汇层面的束缚，深入句法结构、篇章韵律等复杂维度，而现有模型在保持长度忠实性与语义灵活性之间的平衡仍不完善。构建过程中，研究者需协调不同模型API版本差异，处理缺失的旧版Claude-3.5生成数据，并确保6610x6610嵌入距离矩阵等大型中间产物可复现。此外，语段切分尺寸需通过校准实验精确确定，以兼顾生成质量与计算效率，这对实验设计的严谨性提出了严苛要求。

常用场景

经典使用场景

该数据集专注于古典希腊语文本的文体学分析，提供了来自10位阿提卡演说家的119篇人类文本，以及由GPT-5.5、Claude-4.8等先进大语言模型在受控和自由两种提示条件下生成的对应改写文本。经典使用场景是在语块级别上，通过词法和句法特征提取、嵌入距离计算以及文体分析流水线，系统性地对比人类与模型在古希腊语写作上的相似性与差异，从而评估当前最先进模型在古典语言生成方面的逼真程度。

衍生相关工作

该数据集衍生出了一系列经典工作，包括：基于语块级句法特征集（如句子长度分布、词性序列模式、依存距离等）的分类器设计，以在古典希腊语文本中实现人类与机器作者的二元判定；利用Ancient-Greek-BERT嵌入计算文体距离矩阵，进而进行聚类分析和纵向对比，探索不同模型代际间的文体演进轨迹；以及结合校准实验制定最优语块切分策略并复现验证前人研究的统计结果，为后续跨语言、跨时代的AI文体学研究提供了方法论模板。

数据集最近研究

最新研究方向

该数据集聚焦于古典文学计算文体学与生成式人工智能的交叉前沿，系统评估以GPT-5.5、Claude 4.8为代表的大型语言模型在模拟古希腊阿提卡散文风格方面的能力。研究采用句子级对齐的语块分析单位，通过受限重写与自由改写两种提示条件，将模型生成文本与十位人类阿提卡演说家的真实文本进行多维特征比对，包括词汇复杂度、句法结构、嵌入空间距离等文体计量指标。这一工作不仅填补了古典语言领域人机文体学比较的资源空白，更为数字人文与自然语言处理的融合提供了新的方法论框架，引发了对前沿语言模型在历史语言再现中潜在偏差与可信度的深入思考。通过纵向对比上一代模型（GPT-4o、Claude 3.5），该研究还揭示了大型语言模型在特定语言风格模仿上的进化轨迹，对古典文献生成、数字文化遗产保护以及AI辅助人文研究具有重要启示。