ESGBench

ESGBench是由纽约梅隆银行与联邦快递联合构建的可解释ESG问答基准数据集，聚焦企业可持续发展报告分析。该数据集包含119个高质量问答对，涵盖环境、社会、治理三大维度，数据源自12份跨国企业的TCFD报告PDF文档，通过自动化流程生成带原文证据的问答数据。采用检索增强生成技术构建基准测试框架，主要应用于数字金融领域的ESG指标提取、可持续投资决策支持等场景，旨在解决非结构化ESG报告难以量化分析的行业痛点。ESGBench is an interpretable ESG question-answering benchmark dataset jointly developed by Bank of New York Mellon and FedEx, focusing on enterprise sustainability report analysis. This dataset contains 119 high-quality question-answer pairs covering the three core dimensions of Environment, Social and Governance (ESG). It is sourced from 12 PDF documents of TCFD reports issued by multinational corporations, and all question-answer pairs with supporting original text evidence are generated via automated workflows. The benchmark test framework is constructed using Retrieval-Augmented Generation (RAG) technology, which is primarily applied in scenarios including ESG indicator extraction and sustainable investment decision support within the digital finance domain. This work aims to address the industry pain point that unstructured ESG reports pose challenges for quantitative analysis.

原始信息汇总

ESGBench 数据集概述

数据集简介

ESGBench 是一个可解释的 ESG 问答基准数据集，通过自动化流程从 ESG/TCFD PDF 文档生成具有证据支持的问答对。

核心功能

• 收集 ESG/TCFD PDF 文档
• 构建可搜索索引和表格缓存
• 自动生成基于证据的 ESG 问答对
• 运行 RAG 基线（可选）
• 评估预测结果（EM/F1/数值准确率/Recall@K）

数据生成流程

1. 种子文档准备

编辑 data/docs_seed.csv 文件（UTF-8编码，需要表头）：

company,year,url,doc_type,country,industry,source Apple Inc,2024,https://…/apple-2024-esg.pdf,ESG,US,Technology,manual

2. 文档处理

运行 python -m scripts.ingest_catalog data/docs_seed.csv：

• 下载 PDF 到 pdfs/ 目录
• 记录到 data/esgbench_document_information.jsonl

3. 索引构建

运行 python -m scripts.build_index：

• 生成 cache/chunks.json（文本块）
• 生成 cache/<DOC>_tables.json（解析的表格数据）

4. 问答对生成

运行 python -m scripts.generate_qas_from_chunks：

• 输出到 data/esgbench_open_source.jsonl
• 支持去重和防护机制

数据格式

问答对示例

json { "company": "Apple Inc", "doc_name": "APPLE_INC_2024_ESG", "category": "Environmental", "kpi_name": "Scope 2 (market-based)", "question": "What are Apple Incs Scope 2 (market-based) emissions in 2024?", "answer": "1,234,567 tCO2e", "evidence": [{ "evidence_text": "… Scope 2 (market-based) were 1,234,567 tCO2e in 2024 …", "evidence_page_num": 39, "evidence_doc_name": "APPLE_INC_2024_ESG" }] }

评估指标

• 精确匹配（Exact Match）
• 字符串 F1 分数
• 数值准确率（±2% 容差，支持单位识别）
• 检索召回率@K
• 分类别准确率

技术环境

• Python 3.10–3.12
• 需要 OpenAI API 密钥
• 支持 macOS（需要安装 Ghostscript 和 Java）

目录结构

esgbench/ data/ # 种子数据和生成的标注/预测 pdfs/ # 下载的 PDF 文档 cache/ # 块、表格、嵌入向量 scripts/ # CLI 入口点 src/esgbench/ # 可导入的库代码

环境变量

• OPENAI_API_KEY（必需）
• LLM_MODEL（默认 gpt-5-mini）
• EMB_MODEL（默认 text-embedding-3-large）
• RETRIEVE_K（默认 5）
• PASSAGE_CHARS（默认 900）

搜集汇总

数据集介绍

构建方式

在环境、社会和治理信息披露日益影响金融决策的背景下，ESGBench通过系统化流程构建基准数据集。该流程从收集跨行业企业的可持续发展报告和TCFD文件起步，运用自动化脚本下载并验证PDF文档的完整性。随后采用文本分块与表格解析技术，将非结构化内容转化为可检索的段落和标准化数据行，确保每项信息均保留原始页码与文档溯源标识。最后通过约束性提示模板自动生成问答对，强制要求答案与证据文本严格对应，并经过去重处理形成标准化标注文件。

特点

作为专注于可持续金融领域的评估基准，ESGBench具备多重鲜明特性。其问答对覆盖环境指标、社会责任、公司治理等多元维度，特别强化对数值型关键绩效指标的验证能力。数据集设计强调可解释性，每个答案均附带原始报告中的确凿证据引用，并支持检索召回率与数值精度等多维度评估。通过融合叙事性文本与结构化表格数据，该基准能有效检验模型在异构文档中的推理能力，其模块化架构更允许社区持续扩展文档覆盖范围与评估范畴。

使用方法

针对可持续金融分析系统的评估需求，ESGBench提供标准化验证框架。研究人员可借助开源代码库快速部署数据管道，将待测模型接入预定义的检索-生成工作流。评估阶段需运行统一指标计算脚本，同步考察精确匹配率、字符级F1值、单位感知的数值准确度及证据检索召回率等核心指标。通过分析不同主题类别下的性能差异，能够精准识别模型在碳排放统计、可再生能源量化等复杂场景中的薄弱环节，为开发可信赖的ESG分析系统提供实证依据。

背景与挑战

背景概述

随着环境、社会和治理因素在金融决策中的重要性日益凸显，ESGBench数据集于2025年由Sherine George与Nithish Saji等人共同创建，旨在解决可持续发展报告内容冗长、结构异构导致的规模化分析难题。该数据集聚焦于可解释的ESG问答任务，通过构建标准化评估框架，推动数字金融领域对ESG披露信息的自动化解析与可信分析，为金融人工智能研究提供了关键基础设施。

当前挑战

在ESG问答领域，模型需应对数值型关键绩效指标（如范围1-3排放量、可再生能源占比）的精确提取与单位一致性验证，同时面临表格数据语义解析的复杂性。数据集构建过程中，自动化生成问答对时需保证证据文本的逐字可追溯性，且需克服多源PDF文档中表格结构解析、尺度单位转换（如‘千吨二氧化碳当量’）以及跨地域报告格式差异带来的技术挑战。

常用场景

经典使用场景

在可持续金融分析领域，ESGBench数据集通过构建可解释的问答基准，为评估大型语言模型在环境、社会和治理报告中的信息提取能力提供了标准化工具。该数据集典型应用于自动化问答系统测试，研究人员利用其生成的问答对和检索增强生成基线，系统验证模型在长文档中定位关键绩效指标的准确性与证据可追溯性。

实际应用

该数据集已被金融机构应用于可持续投资决策支持系统，通过自动化解析企业ESG报告中的碳排放、可再生能源占比等关键指标，辅助分析师进行风险评估。在监管科技领域，ESGBench的检索增强框架为审计机构提供了可验证的文档分析工具，显著提升了非结构化环境信息披露的处理效率。

衍生相关工作

基于ESGBench的评估范式，研究社区衍生出多项创新工作，包括融合布局感知的表格解析技术、适应CSRD新规的多语言扩展基准，以及针对气候风险披露的专项评测框架。这些工作通过改进证据检索机制和数值单位标准化方法，持续推动着可信ESG分析系统的演进。