Style Text Embedding Benchmark (STEB)

STEB是由约翰斯·霍普金斯大学和乌得勒支大学联合创建的综合性风格文本嵌入基准数据集，旨在标准化文本风格表示能力的评估。该数据集涵盖7种语言，包含96个风格相关子集，覆盖作者验证、作者检索、AI文本检测、语言特征探针等五大任务类型，数据来源包括社交媒体、文学文本和学术语料等多领域真实文本。数据集通过整合现有公开语料和构建主题受控的评估协议创建，严格控制语义干扰以突出风格特征。其核心应用于评估文本嵌入模型在风格敏感任务上的性能，推动风格表示学习的发展，并为大语言模型的风格感知能力提供量化基准。

STEB is a comprehensive stylistic text embedding benchmark dataset jointly created by Johns Hopkins University and Utrecht University, aiming to standardize the evaluation of text stylistic representation capabilities. This dataset covers 7 languages and includes 96 style-related subsets, spanning five major task types including author verification, author retrieval, AI text detection, and linguistic feature probing. Its data sources originate from real texts across multiple domains such as social media, literary texts, and academic corpora. The dataset is developed by integrating existing public corpora and constructing topic-controlled evaluation protocols, with strict control over semantic interference to highlight stylistic features. Its core applications lie in evaluating the performance of text embedding models on style-sensitive tasks, promoting the development of stylistic representation learning, and providing quantitative benchmarks for the style-aware capabilities of large language models (LLMs).

原始信息汇总

数据集概述

STEB（Style Text Embedding Benchmark）是一个用于评估风格文本嵌入（Style Text Embeddings）的框架，覆盖多种任务与数据集。该框架设计为模块化、可扩展，便于添加新模型、数据集和评估任务。

核心功能

• 标准化评测：提供标准化的STEB基准测试流程，可一键运行（例如：steb "rrivera1849/LUAR-MUD"）。
• 任务与数据集支持：支持多种预定义任务（如PAN13作者验证）与数据集，可通过命令行指定执行特定任务。
• 排行榜：公开维护一个在线排行榜，展示所有基准测试模型在操作性和定义性STEB分数下的结果；通过Pull Request提交新模型后，结果会自动更新。
• 配置灵活：支持通过环境变量、config.ini文件或内置默认值设置数据集、结果和预处理数据的存储路径。

使用方法

1. 安装：

   • 克隆仓库：git clone https://github.com/rrivera1849/STEB.git
   • 创建虚拟环境并安装依赖：python3 -m venv venv && source venv/bin/activate && pip install -e .
   • 下载数据集：./download_datasets.sh（可指定下载路径，并通过环境变量或配置文件通知STEB）

2. 运行基准测试：

   • 标准基准测试：steb "<org/your-model>"
   • 指定任务与数据集：steb pre_defined_pair_classification "<org/your-model>" --dataset <dataset_name>

3. 提交模型：

   • 下载当前排行榜数据：./scripts/download_results.sh
   • 运行模型：STEB_RESULTS_DIR=./submitted_results steb "<org/your-model>"
   • 重新生成分数：python -m scripts.benchmark_clustering
   • 查看结果：打开 scores.xlsx，在 STEB_operational 和 STEB_definitional 工作表中查看模型表现。
   • 提交：在 SUBMISSIONS.yaml 中添加条目（包含短名称、Hugging Face ID、运行命令、GitHub用户名），并将模型添加到 scripts/models_all.txt，然后通过 python scripts/validate_submission.py 验证并提交Pull Request。

配置说明

STEB通过以下优先级顺序解析目录路径：环境变量 > 当前目录的 config.ini > 用户级 ~/.steb/config.ini > 内置默认值。

变量	config.ini键	默认值	描述
STEB_RAW_DATASETS_DIR	raw_datasets_dir	./raw_datasets	原始数据集存放目录
STEB_RESULTS_DIR	results_dir	./results	评估结果存放目录
STEB_PROCESSED_DATA_DIR	processed_dataset_dir	~/.local/share/steb/processed_datasets	预处理数据集缓存目录

文档与资源

• 完整文档：https://rrivera1849.github.io/STEB/（也可在仓库 docs/ 目录下查看Markdown版本）
• 论文：https://arxiv.org/abs/2606.31741
• 排行榜：https://rrivera1849.github.io/STEB/leaderboard/

引用

若在研究中使用了STEB，请引用以下论文：

bibtex @misc{rivera-soto-etal-2026-STEB, title = {STEB: A Style Text Embedding Benchmark}, author = {Rivera Soto, Rafael A. and Wegmann, Anna and Aggazzotti, Cristina}, year = {2026}, eprint = {2606.31741}, archivePrefix = {arXiv}, primaryClass = {cs.CL}, url = {https://arxiv.org/abs/2606.31741} }

许可证

STEB采用Apache License 2.0开源协议。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，语义嵌入的评估已通过大规模基准测试得到标准化，而文本风格的嵌入评估却长期处于碎片化状态，各研究依赖不同的任务与数据集。为弥合这一鸿沟，研究者推出了风格文本嵌入基准（STEB），旨在为风格嵌入提供统一的评估框架。STEB的构建整合了96个数据集，横跨7种语言，并围绕五种核心任务进行组织：聚类、成对分类、顺序对齐、检索以及探针分析。每个数据集被归入特定的风格属性类别，如语言学特征、方言、语域、体裁、历史时期、人口统计特征或作者身份。所有评估协议均被固定，包括统一的度量标准与长文本处理策略，以确保跨模型比较的公平性和可重复性。

特点

STEB最为显著的特点在于其全面性与结构化的双重评分机制。它同时报告操作评分与定义评分：操作评分反映了当前领域内用于研究风格的数据集与任务权重，不预设风格定义；而定义评分则基于一种先验的风格理论框架，对模型在语言学特征编码、不同风格对象模式捕捉以及内容无关性三个维度上的表现进行加权评估。基准评测发现，没有一种模型在所有风格任务上占据统治地位——语义嵌入在风格任务中持续表现不佳，而专门化的风格嵌入之间也存在显著的性能差异。例如，LUAR系列模型在作者检索任务上领先，而StyleDistance在内容无关性任务中表现最优，这凸显了风格概念本身的多样性与任务专业化的重要性。

使用方法

使用STEB对模型进行评估时，研究者应遵循其提供的标准化流水线。具体而言，对于每个输入文本，若其长度超过模型的最大上下文窗口，应采用分块与平均池化策略：以句子边界为界将文本切分为多个块，分别嵌入后再进行均值池化，以得到统一的文档表示。评分时，可分别计算操作评分与定义评分，前者通过自动发现数据集相关性聚类后进行宏平均，后者则依照风格定义对模型在语言学探针、对象特征捕捉以及顺序对齐（含干扰项变体）上的表现进行加权。所有随机过程均固定种子以确保可复现性。社区可通过扩展新的任务与数据集来丰富该基准，但需遵循“风格至关重要的场景”与“长度控制”等核心设计原则。

背景与挑战

背景概述

文本风格表示学习是自然语言处理领域中被语义研究所遮蔽的重要分支，其在作者身份验证、机器生成文本检测及风格迁移等任务中展现出不可替代的价值。然而，长期以来，风格嵌入的评估体系呈现出显著的分裂态势：不同研究工作各自采用迥异的任务设计、数据集选择与评估协议，致使跨工作之间的性能对比缺乏可信基础，进展量化变得尤为困难。为弥合这一鸿沟，来自约翰霍普金斯大学与乌得勒支大学的Rafael Rivera Soto、Anna Wegmann和Cristina Aggazzotti于2026年联合提出了Style Text Embedding Benchmark（STEB）。该基准涵盖7种语言的96个数据集，系统性地囊括聚类、配对分类、顺序对齐、检索与探测等五项评估任务，旨在为风格嵌入构建一个统一、标准化且可扩展的评估框架，从而驱动该领域走向更加规范与可重复的研究范式。

当前挑战

STEB所面对的挑战根植于风格研究领域的深层矛盾：首先，风格的定义本身具有高度的歧义性，不同文献对风格的概念化理解存在显著差异，这直接导致训练与评估目标的不一致——如LUAR系列偏重作者身份建模，而StyleDistance则强调内容无关性，没有单一模型能在所有任务中占据绝对优势。其次，在基准构建过程中，研究者遭遇了多重实践困难：现有数据集中非英语语言严重不足，多语言风格嵌入的表现远逊于其英语对应物，揭示出跨语言风格表示是一个亟待攻克的开放难题；数据污染风险难以规避，因风格嵌入常在相似数据集上进行训练与测试，模型可能已在训练阶段见过来自评测集的样本；此外，长文本的公平处理方式深刻影响最终排名，不同的分块与截断策略会导向截然不同的结论，彰显统一评估协议对于可复现科学结论的关键作用。

常用场景

经典使用场景

Style Text Embedding Benchmark (STEB)最经典的使用场景在于系统性评估文本风格嵌入向量的质量与泛化能力。作为首个涵盖96个数据集、横跨7种语言、囊括5类评估任务（聚类、配对分类、顺序对齐、检索与探针任务）的综合性基准，STEB为作者身份验证、作者身份检索、AI生成文本检测以及语言学特征探针等典型风格分析任务提供了标准化的评测平台。它通过操作分数与定义分数两套互补指标，既忠实反映领域现有研究的侧重，又依据理论化的风格定义重新加权结果，从而精准衡量模型在不同风格属性上的表现。

解决学术问题

STEB解决了文本风格嵌入领域长期存在的评估碎片化问题。在它出现之前，不同工作各自采用不同的任务与数据集进行评测，导致跨研究之间的比较缺乏可靠性，风格嵌入的进展难以量化。STEB通过统一的评估协议，揭示了两个关键学术现象：其一，主流的语义嵌入模型（如MTEB领先模型）在风格化任务上表现显著逊色于专用风格嵌入，证明了风格与语义是两项可分离、需独立优化的能力；其二，没有任何单一风格嵌入能够通吃所有任务，最佳模型的选择取决于具体应用目标——对于强调内容独立性的场景，如去噪后的AI文本检测，内容解耦的风格嵌入占据优势；而在作者身份检索等存在主题关联的任务中，保留语义信号的模型表现更佳。这一发现重塑了领域对风格表达能力的认知框架。

衍生相关工作

STEB的构建借鉴并整合了领域内多项经典工作的评估思路。其顺序对齐任务源于STEL与STEL-or-Content评估框架，后者通过平行文本配对与干扰项设计来度量模型是否真正捕捉了风格而非语义。聚类与检索任务的设计则延续了LUAR、STAR等专用风格嵌入的评测传统，这些工作分别以Reddit等多源社交媒体数据训练的对比学习模型为核心，首次在同一协议下进行公平比较。此外，STEB引入了SynthSTEL与StylePTB等合成风格数据集，后者通过细粒度的风格变换操作生成平行语料，使得对内容独立性的评估更加严谨。这些衍生工作的系统整合，使得STEB成为了一个动态可扩展的公共测度，为未来风格表示学习的研究标定了可量化的进步尺度。