ILSA-LLM-Extractor-Dataset

ILSA LLM Extractor数据集是一个从国际大规模评估（ILSA）相关学术文献中自动提取结构化元数据的数据集。它结合了PDF解析、大型语言模型（LLM）结构化提取和检索增强生成（RAG）合成技术，旨在为教育评估研究提供机器可读的元数据资源。数据内容涵盖国际教育成就评价协会（IEA）和经济合作与发展组织（OECD）主导的主要大规模评估项目，包括TIMSS（数学与科学趋势研究）、PIRLS（国际阅读素养进展研究）、ICCS（国际公民与公民教育研究）、PISA（国际学生评估项目）、TALIS（教学与学习国际调查）和PIAAC（国际成人能力评估项目）。数据集源自从Scopus、OECD iLibrary、IEA数据仓库、Web of Science以及专门调查文章等五个语料库收集的1,756篇同行评议文章和技术报告。经过多阶段处理流程，数据集最终生成三个核心结构化表：1) `articles_master`（1,266行×37列），包含去重和丰富后的文章核心元数据，涵盖文献计量信息（如标题、作者、年份）、调查方法学细节（如抽样权重使用）、样本与设计信息（如研究设计类型）、分类与机器学习方法（如ML技术使用情况）以及结果摘要；2) `findings`（2,128行×16列），每条记录对应一项研究的主要发现，包括使用的数据集、目标变量、关键预测因子、性能指标等；3) `confounders`（8,336行×11列），每条记录对应一个研究中识别出的混杂因素或预测变量，包含变量代码、名称、类别等。此外，数据集还提供参考文件（如规范代码本）以及用于元分析、知识合成等下游任务的配置文件。它适用于特征提取、令牌分类、元数据提取、系统文献综述、机器学习模型训练以及基于RAG的教育评估知识问答等任务。用户可通过Hugging Face `datasets`库或直接读取Parquet文件加载数据，并利用丰富的字段进行过滤和分析。数据集遵循CC BY 4.0许可证，仅包含从已发表文献提取的元数据，不包含原始ILSA微观数据。The ILSA LLM Extractor dataset is a collection of structured metadata automatically extracted from academic literature related to International Large-Scale Assessments (ILSAs). It aims to provide machine-readable metadata resources for educational assessment research by combining PDF parsing, Large Language Model (LLM) structured extraction, and Retrieval-Augmented Generation (RAG) synthesis techniques. The data covers major large-scale assessment programs led by the International Association for the Evaluation of Educational Achievement (IEA) and the Organisation for Economic Co-operation and Development (OECD), including TIMSS (Trends in International Mathematics and Science Study), PIRLS (Progress in International Reading Literacy Study), ICCS (International Civic and Citizenship Education Study), PISA (Programme for International Student Assessment), TALIS (Teaching and Learning International Survey), and PIAAC (Programme for the International Assessment of Adult Competencies). The dataset is sourced from 1,756 peer-reviewed articles and technical reports collected from five corpora: Scopus, OECD iLibrary, IEA data warehouse, Web of Science, and specialized survey articles. After a multi-stage processing pipeline, the dataset generates three core structured tables: 1) `articles_master` (1,266 rows × 37 columns), containing deduplicated and enriched core article metadata, including bibliometric information (title, authors, year, publication type, source), survey methodology details (use of sampling weights, plausible value handling, missing data processing), sample and design information (study design type, sample size, countries involved), classification and machine learning methods (ML technique usage), and result summaries; 2) `findings` (2,128 rows × 16 columns), each record corresponding to a key finding from a study, including datasets used, target variables, key predictors, performance metrics, effect sizes, standardized conclusions, etc.; 3) `confounders` (8,336 rows × 11 columns), each record corresponding to a confounding factor or predictor identified in a study, containing variable codes, names, categories (e.g., socioeconomic, demographic, school, teacher), and predictor levels (student, school/teacher, system/country). Additionally, the dataset provides reference files (such as normative codebooks) and configuration files for downstream tasks like meta-analysis, knowledge synthesis, and semantic synthesis. It is suitable for tasks such as feature extraction, token classification, metadata extraction, systematic literature reviews, machine learning model training, and RAG-based educational assessment question answering. Users can load the data via the Hugging Face `datasets` library or by directly reading Parquet files, and leverage the rich fields for filtering and analysis (e.g., filtering studies that correctly handled plausible values or focusing only on machine learning studies). The dataset is licensed under CC BY 4.0 and contains only metadata extracted from published literature, not original ILSA microdata.

原始信息汇总

ILSA LLM Extractor 数据集详情

数据集概述

该数据集包含从 1,756 篇同行评审文章和报告 中自动提取的结构化元数据，涵盖国际大规模评估（IEA：TIMSS、PIRLS、ICCS；OECD：PISA、TALIS、PIAAC）。提取流程结合了 PDF 解析、基于 LLM 的结构化提取以及基于 RAG 的综合。

管道阶段：

• 阶段 1： 基于 LLM 的结构化提取，产生 1,266 条唯一去重研究记录
• 阶段 2： 知识综合——术语对齐、方法论分类映射、变量标准化
• 阶段 3： 基于 RAG 的分析代理，基于 1,266 项研究

系统级指标： 已处理 1,756 个 PDF | 1,266 条唯一记录 | 2,128 个发现 | 8,336 个混杂因子

数据内容

处理后的表格（data/processed/）——推荐用于分析

文件	描述	行数	列数
articles_master.parquet	核心文章元数据——去重、丰富（清洁版本）	1,266	37
findings.parquet	每篇文章的主要发现——目标变量、预测因子、指标	2,128	16
confounders.parquet	每项研究识别的混杂因子和协变量	8,336	11
articles_full.parquet	所有文章，包括非同行评审（完整管道输出）	1,756	23
findings_full.parquet	完整语料库的发现	2,552	13
confounders_full.parquet	完整语料库的混杂因子	9,833	9

参考资料（data/reference/）

文件	描述	行数
canonical_codebook.parquet	规范变量类别定义及操作定义	39

原始 JSON 提取（data/raw/）

按来源语料库组织的每篇文章 LLM 提取输出：

文件夹	来源	文件数
raw/scopus/	Scopus 数据库	423
raw/oecd/	OECD iLibrary	591
raw/iea/	IEA 数据存储库	308
raw/wos/	Web of Science	302
raw/survey/	ILSA 调查文章	132
总计		1,756

完整列描述

articles_master.parquet（1,266 行 × 37 列）

书目字段

列	类型	空值%	描述
file_name	字符串	0%	来源 PDF 文件名。主要唯一标识符。
doi	字符串	21%	数字对象标识符。对于没有 DOI 的报告为空。
title	字符串	1%	从 PDF 中提取的文章或报告标题。
authors	字符串	33%	作者列表。对于机构/匿名报告为空。
year	浮点数	5%	出版年份（1990–2025）。
publication_type	字符串	0%	类型之一：journal、report、book_chapter、conference。
source_category	字符串	0%	类型之一：peer_reviewed_research、technical_report、methodology_paper、review_article。
venue	字符串	3%	期刊名称或出版商（例如“Educational Psychology Review”）。
corpus_source	字符串	0%	来源数据库：Scopus、IEA、Web of Science、OECD、ilsa_survey_articles。

调查方法字段

列	类型	空值%	描述
student_weights_used	浮点数	2%	1.0 = 研究应用了 ILSA 抽样权重（例如 W_FSTUWT）。0.0 = 未应用。
replicate_weights_used	浮点数	31%	1.0 = BRR/JK 复制权重用于方差估计。0.0 = 未使用。空值 = 无法确定。
weight_variable_name	字符串	57%	报告的具体权重变量名称（例如 W_FSTUWT、TOTWGT、SENWT）。
weight_fields_interpretation	字符串	0%	LLM 生成的解释，说明权重在研究中的应用方式。
plausible_values_handling	字符串	0%	可能值的处理方式。取值：rubin_rules（跨 5 个 PV 正确汇集）、average_pv（平均——方法论上有缺陷）、single_pv（单次抽取——不正确）、all_pv（所有分别分析）、wle（Warm 似然估计）、irt_theta（基于 IRT 的分数）、not_applicable、not_reported。
pv_correct	布尔值	0%	PV 处理的方法论质量标志。True = 正确（rubin_rules、all_pv、not_applicable、wle、irt_theta）。False = 不正确（single_pv、average_pv——104 项研究）。<NA> = 不确定。用于筛选方法论上合理的研究。
pv_filter_label	字符串	0%	plausible_values_handling 的人类可读标签。取值：Pooled PVs (Rubin Rules)、Average PVs、Single PV Draw、WLE / IRT Theta、All PVs Analyzed Separately、Not Applicable (Framework)、Not Reported。
missing_data_handling	字符串	0%	缺失数据策略。取值：multiple_imputation、listwise_deletion、knn_imputation、mean_imputation、single_imputation、pairwise_deletion、not_reported。
md_filter_label	字符串	0%	missing_data_handling 的人类可读标签。取值：Multiple Imputation、Listwise Deletion、KNN Imputation、Mean Imputation、Single Imputation、Pairwise Deletion、Not Reported。
handling_not_reported_explanation	字符串	15%	当缺失数据处理未报告时，LLM 生成的解释。
weights_filter	字符串	0%	是否应用了抽样权重：True、False、Unknown。

样本与设计字段

列	类型	空值%	描述
research_design_type	字符串	0%	研究设计。取值：exploratory（描述性/因子分析）、predictive（回归/机器学习）、causal_observational（准实验）、causal_experimental（随机对照试验）。
total_students	浮点数	33%	报告的总学生样本量。未明确说明时为空。
sample_size	字符串	0%	提取的样本量（可能包含非实证文档的“N/A”字符串）。
sample_filtering_criteria	字符串	0%	LLM 生成的研究样本选择/筛选描述。
countries_formatted	字符串	19%	研究中包含的逗号分隔的国家/地区名称。
countries_json	字符串	19%	{country_code, n_students} 对象的 JSON 数组。国家代码遵循 ISO 3166-1 alpha-3。使用前用 json.loads() 解析。
country_codes	字符串	19%	逗号分隔的 ISO 3166-1 alpha-3 国家代码（例如 TUR, DEU, FRA）。从 countries_json 提取，便于过滤。

分类与机器学习字段

列	类型	空值%	描述
document_class	字符串	0%	顶级文档分类：empirical_article 或 technical_report。
study_filter_type	字符串	0%	详细研究类型。取值：Empirical Study - Machine Learning、Empirical Study - Traditional Statistics、Technical/Assessment Framework、Descriptive National Report。
ml_techniques	字符串	0%	使用的机器学习方法（规范形式）。非机器学习研究为“Not Reported: Likely Traditional Methods”。
ml_primary	字符串	87%	主要机器学习技术（最突出的方法）。非机器学习研究为空（语料库的 87%）。
ml_all_techniques	字符串	87%	逗号分隔的所有使用的机器学习技术列表。非机器学习研究为空。
ml_family	字符串	0%	机器学习方法系列。取值：Tree-Based / Ensemble Learning、Deep Learning、Generalized Linear Models (GLM)、Other ML / Not Classified、Not Reported: Likely Traditional Methods、N/A: Technical Report。

结果与综合字段

列	类型	空值%	描述
outcome_summary	字符串	0%	LLM 生成的研究主要贡献和发现的 2–4 句摘要。
primary_finding	字符串	0%	LLM 生成的单句主要发现陈述。
effect_size	字符串	0%	作者报告的效果量（例如“R²=0.42”、“Cohens d=0.31”）。缺失时为“Not Reported by Authors”。
confounders	字符串	0%	是否识别了混杂因子：present、Not Reported by Authors、N/A: Technical Report。
null_fields_interpretation	字符串	37%	LLM 对字段为空的原因解释（例如仅书目摘录、非实证文档）。

findings.parquet（2,128 行 × 16 列）

每行代表一个研究发现。一篇文章可能有多个发现（不同的结果变量或亚组分析）。

列	类型	空值%	描述
file_name	字符串	0%	来源 PDF 文件名。articles_master 的外键。
doi	字符串	15%	文章 DOI。
dataset_used	字符串	0%	使用的 ILSA 数据集和周期（例如“PISA 2018”、“TIMSS 2019”、“PIRLS 2021”）。
target_variable	字符串	0%	发现的结果变量（例如“Mathematics achievement”、“Reading literacy”）。
top_predictors	字符串	0%	发现中确定的关键预测因子（例如“SES, gender, school resources”）。
performance_metrics	字符串	11%	报告的性能指标（例如“R²=0.42”、“AUC=0.81”、“RMSE=45.2”）。
standardized_conclusion	字符串	11%	标准化的 LLM 生成结论句。
primary_finding	字符串	0%	完整的 LLM 生成的主要发现陈述。
publication_type	字符串	0%	继承自 articles_master：journal、report、book_chapter、conference。
source_category	字符串	0%	继承自 articles_master。
document_class	字符串	0%	继承自 articles_master：empirical_article 或 technical_report。
study_filter_type	字符串	0%	继承自 articles_master。
effect_size	字符串	0%	此特定发现的效果量。缺失时为“Not Reported by Authors”。
target_domain	字符串	0%	结果变量的学科领域。取值：Mathematics、Reading、Science、Civic Education、Digital/Computer Literacy、Problem Solving、Non-Cognitive / Process Output、Composite / Multi-Domain、N/A: Technical Report、Other / Unspecified。
target_dimension	字符串	0%	结果测量的性质。取值：Cognitive Achievement、Attitudinal / Affective、Policy / System Outcome、Process Data / Log Metrics、Methodological (no DV)、Other。
predictor_filter_categories	字符串	18%	分号分隔的预测因子类别（例如“Student: SES; School/Teacher: Context”）。

confounders.parquet（8,336 行 × 11 列）

每行每项研究代表一个混杂因子/预测变量。每篇文章多行。

列	类型	空值%	描述
file_name	字符串	0%	来源 PDF 文件名。articles_master 的外键。
doi	字符串	3%	文章 DOI。
variable_code	字符串	0%	管道分配的内部变量代码（例如“sesi_j”、“gender_s”）。
variable_name	字符串	0%	人类可读的变量名称（例如“socioeconomic status (SES)”、“school resources”）。
category	字符串	0%	规范变量类别。取值：socioeconomic、demographic、student_attitude、student_behavior、prior_achievement、parent_home、school、teacher、curriculum、ict、system_level、peer_effects、process_data、N/A: Technical Report、Not Reported by Authors。
predictor_level	字符串	0%	预测因子在多级结构中的级别。取值：Student Level、School/Teacher Level、System/Country Level、Unspecified、N/A: Technical Report。
predictor_category	字符串	0%	详细的预测因子分组。取值：Student: SES、Student: Demographic、Student: Attitudinal/Behavioral、Student: Prior Achievement、Student: Process Data、School/Teacher: Context、School/Teacher: Practice、System: Policy/Context、N/A: Technical Report、Other。
publication_type	字符串	0%	继承自 articles_master。
source_category	字符串	0%	继承自 articles_master。
document_class	字符串	0%	继承自 articles_master。
study_filter_type	字符串	0%	继承自 articles_master。

已知限制（红队评估）

以下限制通过系统的内部审查确定：

问题	范围	严重性	备注
authors 33% 的记录为空	articles_master	中等	机构/匿名的 OECD 和 IEA 报告缺少作者归属
ml_primary / ml_all_techniques 87% 为空	articles_master	按设计	87% 的语料库使用传统统计，非机器学习——空值是正常的
year 存储为 Int64	articles_master	✅ 已修复	从 float64 修正
open_access 列	articles_master	✅ 已修复	已移除——无法从 PDF 可靠提取
json_source_path 列	articles_master	✅ 已修复	已移除——本地机器路径，不可移植
countries_json 为 JSON 字符串而非数组	articles_master	✅ 已修复	添加了 country_codes 列（ISO 3166-1 alpha-3，逗号分隔）
添加了 pv_correct 标志	articles_master	✅ 已修复	标记了 104 项 PV 处理不正确的学习（single_pv、average_pv）
performance_metrics 11% 的发现为空	findings	中等	并非所有研究都报告定量性能指标
confounders = “N/A: Technical Report”（544 行）	confounders	按设计	技术报告不建模预测因子——这是预期的
人工验证样本	所有表格	高	仅对 8 篇论文样本进行了评估者间验证。完整语料库验证正在进行。

快速使用

python from datasets import load_dataset

清洁的文章元数据（推荐）

articles = load_dataset("dedemerve/ILSA-LLM-Extractor-Dataset", "articles_master", split="train")

发现

findings = load_dataset("dedemerve/ILSA-LLM-Extractor-Dataset", "findings", split="train")

混杂因子

confounders = load_dataset("dedemerve/ILSA-LLM-Extractor-Dataset", "confounders", split="train")

python import pandas as pd

直接读取 Parquet

df = pd.read_parquet("hf://datasets/dedemerve/ILSA-LLM-Extractor-Dataset/data/processed/articles_master.parquet")

过滤：仅限机器学习研究

ml_studies = df[df[study_filter_type] == Empirical Study - Machine Learning]

过滤：仅限正确的 PV 处理

correct_pv = df[df[plausible_values_handling] == rubin_rules]

解析国家

import json df[countries_list] = df[countries_json].apply(lambda x: json.loads(x) if pd.notna(x) else [])

覆盖范围

评估	组织	语料库来源
PISA	OECD	Scopus, WoS, OECD iLibrary
TALIS	OECD	OECD iLibrary
PIAAC	OECD	OECD iLibrary
TIMSS	IEA	IEA Repository, Scopus, WoS
PIRLS	IEA	IEA Repository, Scopus, WoS
ICCS	IEA	IEA Repository, Scopus, WoS

引用

bibtex @dataset{dede_cetinkaya_2026_ilsa, author = {Dede, Merve and {c{C}}etinkaya, Ekrem}, title = {ILSA LLM Extractor Dataset}, year = {2026}, publisher = {Hugging Face}, url = {https://huggingface.co/datasets/dedemerve/ILSA-LLM-Extractor-Dataset} }

许可证

CC BY 4.0——原始 ILSA 微观数据不包含在内。该数据集仅包含来自已发表研究文章的 LLM 提取的元数据。

搜集汇总

数据集介绍

构建方式

该数据集依托一套自动化的元数据抽取流水线构建而成，核心流程涵盖PDF解析与基于大型语言模型的结构化信息提取。研究者首先对涵盖国际大规模教育评估（如PISA、TIMSS、PIRLS等）的1,756篇同行评审论文及报告进行全文解析；随后，利用大语言模型从文本中提炼出结构化的研究元数据，包括文献信息、研究方法、样本特征及研究结论等。在完成初版提取后，系统通过知识合成阶段对术语进行对齐、对方法学分类进行映射，并对变量进行标准化处理；最终，借助检索增强生成代理，对整合后的1,266条去重研究记录进行深度分析与归纳，从而形成一个系统、完整的结构化知识库。

使用方法

该数据集的使用极为便捷，兼容主流数据科学工作流。用户可通过Hugging Face的datasets库直接加载，仅需一行代码即可获取去重后的文献元数据、研究发现或混杂变量表。对于偏好pandas生态的研究者，亦可通过读取Parquet文件实现高效的数据接入。数据集中包含丰富的分类型变量字段，便于快速进行子集筛选，例如通过'study_filter_type'字段可提取专注于机器学习方法的实证研究，或借助'plausible_values_handling'字段过滤出采用正确合理值处理策略的高质量研究。此外，国家代码与样本量信息以可解析的JSON格式存储，极大便利了跨国家与跨周期的比较分析，使得该数据集成为开展教育评估系统综述与元分析的宝贵资源。

背景与挑战

背景概述

国际大规模教育评估（ILSA），如PISA、TIMSS和PIRLS，已成为全球教育政策与实证研究的基石。然而，这些评估所产生的庞大学术文献（涵盖方法论、发现与混杂因素）往往分散于不同数据库与报告格式之中，缺乏系统性的结构化整合。由Merve Dede与Ekrem Çetinkaya于2026年创建的ILSA-LLM-Extractor-Dataset，旨在填补这一空白。该数据集利用大语言模型与检索增强生成技术，从1756篇经同行评审的文献与报告中自动提取并标准化了1266条去重研究记录、2128项发现及8336个混杂因素，覆盖OECD与IEA等主要评估体系。该数据集不仅为元分析与知识综合提供了高质量的规范基准，还通过多阶段流水线（结构化提取、术语对齐与智能代理）推进了教育数据科学的方法论，对系统性综述与机器学习研究具有重要的赋能作用。

当前挑战

该数据集所应对的核心领域挑战在于：大规模教育评估文献长期缺乏统一的元数据标准，导致研究间的比较与综合常因术语歧义、变量命名不一及统计方法异质性而受阻。构建过程中也面临多重困难：首先，从PDF中准确提取作者、权重变量等元数据时，33%的记录因机构性报告缺失作者信息；其次，87%的文献使用传统统计方法而非机器学习，需设计精细的分类器以区分方法学类型；此外，对潜在值处理方式（如单次抽取与平均化）的自动识别显示104项研究存在方法论缺陷，需通过额外过滤标志进行纠正。人类验证样本仅覆盖8篇文献，突显大规模自动化标注与人工校准之间的平衡挑战。数据集中countries_json字段采用JSON字符串而非原生数组，以及部分字段的高缺失率，亦反映出异构源数据统一清洗与标准化的内在复杂度。

常用场景

经典使用场景

在国际大规模教育评估（ILSA）研究领域，该数据集最经典的使用场景是作为元分析和系统性文献综述的结构化数据基础。研究者可基于其166篇收录论文、2128项研究发现及8336个混杂变量记录，快速检索、筛选和整合来自PISA、TIMSS、PIRLS等权威评估项目的实证证据。借助预定义的变量分类体系（如目标领域、预测变量层级、效应量指标），用户能够高效完成方法学质量过滤（如抽样权重、似真值处理方式的正确性标注），从而构建高信度的研究证据库，极大简化了传统文献综述中手工编码与异质性控制的复杂流程。

解决学术问题

该数据集系统性地解决了ILSA研究中长期存在的三个核心学术难题：一是研究文档的异构性与非结构化问题，通过大语言模型自动将1756份PDF文献标准化为统一元数据格式，消除了因表述差异导致的信息丢失风险；二是方法学质量评估的模糊性，通过精准标注似真值处理方式（如是否遵循Rubin规则）、抽样权重应用等关键方法学变量，为筛选方法学严谨的研究提供了明确可量化的过滤标准；三是知识整合的碎片化困境，基于检索增强生成技术实现了术语对齐、方法分类映射与变量标准化，推动了跨研究、跨评估项目的系统性知识综合与比较。

实际应用

在实际应用中，该数据集为教育政策研究者和国际评估机构提供了强大的证据检索与决策支持工具。例如，OECD或IEA的分析师可快速查询特定国家在历次评估中的学生成绩影响因素（如社会经济地位、学校资源分配），并基于效应量汇总结果评估政策干预的有效性。研究人员可借助混杂变量表分析常见协变量（如性别、先验成绩）的控制情况，优化后续实证研究的设计。此外，机器学习领域的学者可筛选出使用深度学习或集成学习方法的子集，用于训练预测学生学业表现的模型，或对比不同算法在教育大数据场景下的表现差异。

数据集最近研究

最新研究方向

在教育大规模评估（ILSA）领域，该数据集聚焦于利用大语言模型（LLM）与检索增强生成（RAG）技术，从海量同行评审文献中自动提取结构化元数据，并深化对PISA、TIMSS等国际评估研究的方法学质量分析。前沿方向涵盖通过自然语言处理管道实现研究设计异质性的识别、混杂变量溯源、以及多层次变量标准化映射，尤其关注对含值处理、抽样权重应用等关键方法学流程的自动标记与质量过滤。这一工作呼应了教育证据综合对可重复性与透明度的迫切需求，为系统综述与元分析提供了高效、可追溯的语义基础设施，显著提升了跨研究整合的效率与可信度。