AINL-Eval 2025Shared Task: Detection of AI-Generated Scientific Abstracts in Russian
收藏资源简介：
AINL-Eval 2025是一个专注于检测俄语科学摘要中AI生成内容的数据集。该数据集包含52305个样本，包括来自12个不同科学领域的由人类撰写的摘要和来自五个最先进的LLM（GPT-4-Turbo、Gemma2-27B、Llama3.3-70B、Deepseek-V3和GigaChat-Lite）生成的摘要。该数据集的目的是挑战参与者开发能够泛化到新领域和检测训练数据中未包含的模型生成的文本的鲁棒解决方案。该数据集和平台是公开可用的，但具体访问地址未在论文中提及。
AINL-Eval 2025 is a dataset dedicated to detecting AI-generated content in Russian scientific abstracts. It encompasses 52,305 samples, including human-written abstracts and abstracts generated by five state-of-the-art large language models (LLMs) — GPT-4-Turbo, Gemma2-27B, Llama3.3-70B, Deepseek-V3, and GigaChat-Lite — across 12 distinct scientific disciplines. The core goal of this dataset is to challenge participants to develop robust detection solutions that generalize to unseen domains and identify text produced by models not included in the training corpus. Both the dataset and its associated platform are publicly accessible, yet no specific access URLs are specified in the accompanying research paper.
AINL-Eval 2025 数据集概述
数据集背景
- 该数据集用于AINL 2025会议的共享任务，专注于检测俄语科学摘要中AI生成的内容。
- 主要目标：区分人类撰写和AI生成的文本，并识别训练数据中未包含的模型生成的文本。
数据集内容
训练集
- 文本数量：约35,000篇。
- 来源：10个不同领域（每个领域约4,000篇）。
- 标签类别：
[human, llama-3.3-70b, gemma-2-27b, gpt-4-turbo]。
公开测试集
- 文本数量：约11,000篇（来自与训练集相同的10个领域） + 约2,000篇由未知模型生成的文本。
- 标签类别：
[gpt-4-turbo, llama-3.3-70b, gemma-2-27b, human, unknown]。
私有测试集
- 文本数量：约6,000篇。
- 来源：10个不同领域（其中8个与训练集重叠，2个为新领域）。
- 包含人类撰写、已知模型生成及未知模型生成的文本。
任务挑战
- 处理超出训练集范围的数据（泛化到新领域）。
- 检测训练数据中未包含的模型生成的文本（泛化到新模型）。
提交格式
- 文件名称：
submission.csv。 - 文件内容：两列，
id和label。 - 提交方式：通过Codalab平台提交，文件需压缩为zip格式。
评估标准
- 使用准确率（Accuracy）评估解决方案。
基准模型
- TF-IDF + LogReg。
- 微调BERT。
重要日期
- 2025年3月3日：发布训练集和公开测试集。
- 2025年3月5日：开发阶段提交开放。
- 2025年3月25日：私有测试阶段提交开放。
- 2025年4月1日：共享任务结束。
- 2025年4月18-19日：AINL 2025会议，公布最终结果。
- 2025年5月5日：论文提交截止。
组织者
- Tatiana Batura (IIS SB RAS)
- Elena Bruches (IIS SB RAS, NSU)
- Milana Shvenk (NSU)
- Valentin Malykh (MIPT University, ITMO University)
