A11YBench

A11YBench是一个包含60个真实世界网页项目，共145个网页，以及8874个无障碍违规问题的基准数据集。该项目涵盖了不同大小的网页项目，从轻量级的文档网站到大型生产级应用程序，旨在反映现代网页生态系统的结构和技术的多样性。

原始信息汇总

A11YBench 数据集概述

数据集简介

A11YBench是一个用于网页可访问性修复的基准测试数据集，包含60个真实世界网页项目，涵盖145个网页页面和8,874个由IBM Accessibility Checker (4.0.6)检测到的可访问性违规。

数据集特征

• 项目规模差异显著：包含123至43,198个源文件，代码行数范围从3,610到1,555,532行
• 覆盖轻量级文档站点和大型生产级应用程序
• 反映现代网页生态系统的结构和技术多样性
• 包含从流行开源网页仓库提取的真实可访问性违规
• 多领域覆盖：UI库、开发者工具、云平台、文档站点等

配置版本

• A11YBench-Lite：小型快速运行子集（10个仓库）
• A11YBench-Full：包含所有收集仓库的完整基准测试

使用方法

数据集下载

通过HuggingFace Hub下载： bash git lfs install git clone https://huggingface.co/datasets/LLM4APR/A11YBench

或在Python中直接加载： bash from datasets import load_dataset ds = load_dataset("LLM4APR/A11YBench")

项目实例安装

运行修复任务前需在本地检出并安装每个项目的依赖项。

系统要求：

• Node.js
• npm
• pnpm
• yarn

安装示例（以microsoft/TypeScript-Website为例）：

1. 克隆仓库 bash git clone https://github.com/microsoft/TypeScript-Website.git

2. 检出A11YBench使用的版本 bash git checkout 1019cfc8f96ded4729e8ccd342742534a9826a9d

3. 安装依赖并启动项目 bash pnpm install && pnpm bootstrap && pnpm start

修复工作流程

项目成功运行后，在浏览器中打开：http://localhost:8000/

生成可访问性违规

使用任何网页可访问性检查器检测活动页面上的A11Y违规，推荐使用IBM Accessibility Checker。这些工具将生成违规报告，可传递给修复系统执行自动化A11Y修复。

许可证

MIT

搜集汇总

数据集介绍

构建方式

在Web无障碍性评估领域，A11YBench通过系统化采集60个真实世界Web项目构建而成，涵盖145个网页页面和8,874条由IBM无障碍检测工具识别的可访问性违规案例。项目规模呈现显著差异，源代码文件数量从123至43,198不等，代码行数跨度达3,610至1,555,532行，既包含轻量级文档站点也覆盖大型生产级应用，这种多层次结构确保了数据集对现代Web生态系统技术多样性的完整映射。

特点

该数据集的核心价值体现在其全场景覆盖特性，违规数据源自热门开源Web仓库，涉及UI组件库、开发工具、云平台及文档站点等多领域。为适应不同研究需求，提供双配置模式：A11YBench-Lite作为轻量化子集支持快速验证，而A11YBench-Full则保留完整仓库集合以满足深度分析需求，这种弹性设计使数据集兼具广泛代表性和实践灵活性。

使用方法

研究者可通过HuggingFace Hub直接获取数据集，或使用Python接口进行加载。实施修复流程前需完成本地环境配置，包括Node.js等依赖组件的安装，通过克隆指定版本仓库并启动服务后，借助IBM无障碍检测工具生成违规报告。该标准化工作流程确保了实验可复现性，为自动化可访问性修复系统的开发提供端到端验证框架。

背景与挑战

背景概述

随着数字包容性理念的深入发展，网络可访问性已成为衡量现代网络生态系统成熟度的重要指标。A11YBench由研究团队于2024年构建，作为首个专注于网络可访问性修复的基准数据集，其核心目标在于解决网页内容对残障用户存在的技术障碍。该数据集汇集了60个真实网络项目，涵盖145个网页及8,874项可访问性违规案例，通过系统化标注为自动化修复技术提供了关键研究基础，显著推动了人机交互领域在包容性设计方向的理论与实践创新。

当前挑战

网络可访问性修复领域长期面临多维度技术挑战，包括动态内容适配、跨平台兼容性验证以及辅助工具协同等核心难题。A11YBench在构建过程中需克服真实项目异构性带来的数据采集障碍，其涵盖的43,198个源文件与百万行代码规模对版本控制与依赖管理提出极高要求。同时，数据标注过程需保持IBM检测工具与多样化前端框架的精准对齐，这种技术复杂性使得基准数据的质量控制成为持续优化的关键节点。

常用场景

经典使用场景

在Web无障碍性研究领域，A11YBench作为基准数据集，其经典应用聚焦于评估自动化修复系统的效能。研究者通过该数据集模拟真实网页环境，检测并修正由IBM无障碍检查器识别的8,874项可访问性违规。这些违规涵盖多样化的网页结构，从轻量级文档站点到大型生产级应用，为算法验证提供了高度逼真的测试平台。

实际应用

在实际应用层面，A11YBench为工业级无障碍检测工具提供了关键验证依据。开发团队可借助其全量版本评估修复引擎在复杂场景下的稳定性，而精简版本则适用于持续集成环境的快速回归测试。这种分层设计使其能够无缝融入现代Web开发流程，助力企业构建符合WCAG标准的数字化产品。

衍生相关工作

基于该数据集衍生的经典研究包括智能修复算法的迭代优化与跨框架适配方案。众多学者利用其多领域样本开发了基于机器学习的违规模式识别系统，部分工作进一步探索了大规模代码库中的语义保持修复策略。这些成果共同构成了Web无障碍性工程领域的方法论体系，持续推动着自动化修复技术的边界拓展。