bioreview-bench
收藏资源简介：
BioReview-Bench是一个用于研究已发表生物医学同行评审中记录关注点模式的银标准资源。它是一个经过权利最小化处理的快照，仅包含索引和标签分布，而非自包含的文本基准、公共测试集或公开排行榜。数据集包含两个配置：index（默认配置）提供所有6,940篇文章的稳定ID、DOI/来源元数据、发布日期和模式版本，并记录训练/验证/测试集成员身份；annotations配置提供仅针对训练集和验证集的无文本项目分类标签行，包括关注点分割、类别、严重性和作者立场等字段，这些标签是LLM衍生的银标注。数据规模方面，索引配置包含6,940条无文本文章索引行，标签配置包含93,222条无文本训练/验证标签行，同时有8,647个测试目标被保留。该数据集适用于生物医学文本挖掘、同行评审分析和关注点模式识别等研究任务，但需注意其标注的银标准性质、存在数据重叠问题，并且不应用于新的盲评估或声称隐藏测试的泛化能力。
BioReview-Bench is a silver-standard resource for studying recorded concern patterns in published biomedical peer reviews. It is a rights-minimized snapshot containing only index and label distributions, rather than a self-contained text benchmark, public test set, or public leaderboard. The dataset includes two configurations: index (the default configuration) provides stable IDs, DOI/source metadata, publication dates, pattern versions for all 6,940 articles, and records training/validation/test set membership; the annotations configuration provides classification label rows for text-free items only in the training and validation sets, including fields such as concern segmentation, category, severity, and author stance, with these labels being LLM-derived silver annotations. In terms of data scale, the index configuration contains 6,940 text-free article index rows, the label configuration contains 93,222 text-free training/validation label rows, while 8,647 test targets are reserved. The dataset is suitable for research tasks such as biomedical text mining, peer review analysis, and concern pattern recognition, but it should be noted that its annotations are silver-standard, there are data overlap issues, and it should not be used for new blind evaluations or claims about the generalization ability of hidden tests.
数据集概述
BioReview-Bench v4.1.3 — public index 是一个用于研究已发表生物医学同行评审中关注模式的银标准资源。该数据集是一个最小化权限的快照，主要提供索引和标签分布，不包含完整的文本内容。
- 语言：英语（en）
- 许可证：其他（other），项目创建注释采用 CC BY-NC 4.0，代码采用 Apache-2.0
- 标签：同行评审、生物医学、基准测试、元数据、银标准
- 规模：
- 6,940 条无文本的文章索引行
- 93,222 条无文本的训练/验证标签行
- 8,647 个隐藏的测试目标
数据集结构与配置
数据集包含两个配置（Configs）：
-
index（默认）：包含所有 6,940 篇文章的稳定 ID、DOI/来源元数据、发布日期和模式版本。Hugging Face 的 split 名称记录训练/验证/测试的成员身份。- 数据文件路径：
data/index/train.jsonl、data/index/validation.jsonl、data/index/test.jsonl - 样本数量：训练集 5,387、验证集 953、测试集 600
- 数据文件路径：
-
annotations：包含项目创建的无文本分类标签行，仅提供训练集和验证集。稳定的关注 ID 可能保留来源本地的评审序号（如 R1），但这些序号不标识具体人物。- 数据文件路径：
data/annotations/train.jsonl、data/annotations/validation.jsonl - 样本数量：训练集 79,121、验证集 14,101
- 数据文件路径：
重要声明与限制
- 标签来源：关注点分割、类别、严重性和作者立场字段均为 LLM 衍生的银标准注释，非专家裁定的科学事实。
- 评分说明：使用的冻结评分基于未适配的
allenai/specter2_base检查点，采用自动均值池化，没有记录任务适配器或检查点修订版。该历史包装器及其 0.65 阈值尚未完成独立人工验证。发布的评分为临时性和依赖匹配器的结果。 - 数据重叠：F1000 DOI-stem 审计发现存在跨数据集的家族重叠，开发数据与 F1000 测试文章有 49/150 的重叠。
- 测试集性质：索引发布了测试集成员身份以及稳定的文章 ID 和 DOI。由于来源同行评审可公开检索，隐藏目标行不构成秘密或盲测。不应用于新的盲评估或声称隐藏测试泛化。
author_stance字段：描述 LLM 衍生的响应对齐标签，全语料库中 91.1% 为no_response。不得解释为文章质量、评审者有效性或科学关注点是否客观正确。
公开发布边界
此快照明确排除以下内容：标题、摘要、文章正文、标准化关注文本、原始评审/决策文本、原始作者回复、评审者/数据行名称/邮箱、明确身份字段、内部追踪痕迹以及所有测试目标标签。发布材料需从 DOI/来源记录处按原出版者条款获取。
加载示例
python from datasets import load_dataset
index = load_dataset("jang1563/bioreview-bench", "index", revision="v4.1.3") labels = load_dataset("jang1563/bioreview-bench", "annotations", revision="v4.1.3")
许可与文档
