RORCO

RORCO数据集由纽约大学的研究团队创建，专门用于评估早期儿童识字自然实验中的治疗效果。该数据集包含4178条观测数据，涵盖学生参与RORCO项目的情况及其识字成果。数据集的创建过程结合了实际观测数据和专家指导下的合成数据，旨在模拟真实世界中的治疗效果评估。该数据集主要应用于教育和社会科学领域，旨在解决如何准确评估非营利组织在提高儿童识字能力方面的有效性问题。

The RORCO dataset was created by a research team at New York University, specifically designed to evaluate treatment effects in natural experiments on early childhood literacy. This dataset contains 4,178 observational records, covering students' participation in the RORCO program and their literacy outcomes. Its creation combines real-world observational data and expert-guided synthetic data, aiming to simulate real-world treatment effect evaluations. Primarily applied in the fields of education and social sciences, this dataset is intended to address the challenge of accurately assessing the effectiveness of nonprofit organizations in improving children's literacy skills.

原始信息汇总

naturalexperiments 数据集概述

数据集

主要数据集

• RORCO Real: 来自早期儿童识字自然实验的观测数据集，包含真实的识字结果。
• RORCO: RORCO Real的半合成版本，用于估计器评估。

其他标准数据集

• ACIC 2016
• ACIC 2017
• IHDP
• Jobs
• News
• Twins

数据加载

所有数据集可以通过 dataloaders 对象加载。

python import naturalexperiments as ne

dataset = RORCO X, y, z = ne.dataloadersdataset

估计器

主要估计器

• Double-Double: 一种新颖的理论驱动双重稳健估计器。

其他估计器

• Regression Discontinuity
• Propensity Stratification
• Direct Difference
• Adjusted Direct
• Horvitz-Thompson
• TMLE
• Off-policy
• Doubly Robust
• Direct Prediction
• SNet
• FlexTENet
• OffsetNet
• TNet
• TARNet
• DragonNet
• SNet3
• DRNet
• RANet
• PWNet
• RNet
• XNet

估计器加载

所有估计器可以通过 methods 对象加载。

python method = Double-Double estimator = ne.methods[method]

数据集探索

数据集表格对比

生成一个Markdown表格，比较数据集的大小、变量数量、治疗率等。

python ne.dataset_table(ne.dataloaders, print_md=True)

数据集可视化

绘制协变量、倾向得分和结果的分布图。

python ne.plot_all_data(ne.dataloaders)

估计器基准测试

计算方差

使用 compute_variance 函数对估计器进行基准测试。

python methods = {name: ne.methods[name] for name in [Double-Double, Regression Discontinuity, DragonNet]} variance, times = ne.compute_variance(methods, dataset, num_runs=5)

基准测试结果表格

生成一个Markdown表格，显示估计器的平均值、四分位数和运行时间。

python ne.benchmark_table(variance, times, print_md=True)

搜集汇总

数据集介绍

构建方式

RORCO数据集是通过与早期儿童识字领域的专家合作创建的，旨在评估自然实验中治疗效应的估计方法。数据集分为两个版本：RORCO Real和RORCO。RORCO Real是一个观测数据集，它使用了真实的识字结果，并假设一个班级如果超过一半的学生在儿童健康诊所接受了RORCO的治疗，则该班级接受了治疗。RORCO是一个半合成数据集，它使用了由专家指导设计的合成结果和治疗，以反映治疗对受教育程度较低儿童的影响。

特点

RORCO数据集的特点在于其独特的构建方式，它结合了真实的观测数据和由专家设计的合成数据，这使得数据集能够更全面地反映自然实验中治疗效应的复杂性。此外，数据集提供了一个基准，用于评估超过20种治疗效应估计方法的准确性。实验结果表明，双鲁棒估计器在大多数情况下表现优于其他更复杂的估计器。

使用方法

RORCO数据集的使用方法包括通过Python包naturalexperiments访问数据。该包以模块化的方式构建，便于添加新的数据集和估计器。用户可以使用该包中的dataloaders加载RORCO和RORCO Real数据集，并使用提供的工具和代码示例进行基准测试和估计器的评估。数据集的访问和使用遵循MIT许可协议。

背景与挑战

背景概述

RORCO数据集是一组由纽约大学研究人员创建的自然实验数据集，用于评估自然实验中治疗效果估计方法的准确性。该数据集来源于科罗拉多州的一个名为“Reach Out and Read Colorado”（RORCO）的非营利组织，该组织专注于早期儿童阅读能力。研究人员发现，应用超过20种已建立的估计方法对该数据集进行评估时，在评估该非营利组织的有效性方面产生了不一致的结果。为了解决这个问题，研究人员创建了一个基准，使用合成结果来评估估计器的准确性。这个基准广泛地探索了真实世界条件（如样本量、处理相关性、倾向评分准确性）变化时的性能。基于这个基准，研究人员观察到，基于简单直观回归调整的双重鲁棒性治疗效果估计器通常比其他更复杂的估计器表现更好。为了更好地支持对双重鲁棒性估计器的理论理解，研究人员推导出了使用数据集分割来获得无偏估计的任何此类估计器的方差闭合形式表达式。这个表达式激发了使用新颖的损失函数来拟合回归调整函数的新双重鲁棒性估计器的设计。研究人员发布了数据集和基准的Python包，该包以模块化的方式构建，以促进新数据集和估计器的添加。

当前挑战

RORCO数据集和相关研究面临的主要挑战包括：1)在自然实验中，治疗效果的估计通常受到处理与结果之间可能存在的相关性影响，导致直接比较处理组和控制组的产出会产生有缺陷的治疗效果估计；2)构建过程中遇到的挑战包括如何准确估计倾向评分，以及如何处理数据集中的不平衡性，即只有部分人口接受了研究人员希望分析的治疗；3)由于数据集的观察单位是班级而不是单个学生，这可能会降低研究人员测量RORCO影响的能力；4)在确定班级是否接受了RORCO治疗时，研究人员使用了农村社区中诊所和学校之间的邻近性假设，这改变了数据的分布，只反映了人口稀少的地理区域；5)研究人员还假设在几年内，农村社区的学生没有搬家，即他们在儿童时期居住的地方附近上学。对于RORCO数据集，研究人员为了合成结果而做出的假设可能并不反映现实世界的情况。因此，仅在合成结果上进行算法的微调可能会导致算法不适用于现实环境。

常用场景

经典使用场景

在处理自然实验中的治疗效果评估问题时，RORCO数据集被广泛用于测试和比较各种估计器的性能。自然实验中，处理是预先分配的，而RORCO数据集提供了真实世界的环境，包括样本大小、处理相关性以及倾向得分准确性等变量的变化。研究者可以利用RORCO数据集来评估不同估计器在处理自然实验数据时的准确性和稳健性。

衍生相关工作

RORCO数据集衍生了一系列相关的研究工作，重点关注双重稳健估计器的设计和分析。例如，研究者提出了一个新的双重稳健算法，称为Double-Double，该算法使用了一种新颖的损失函数来拟合回归调整函数。此外，RORCO数据集还促进了自然实验数据中治疗效果评估方法的发展，为相关研究提供了新的研究方向。

数据集最近研究

最新研究方向

本研究引入了一个名为RORCO的自然实验数据集，该数据集由一家专注于早期儿童读写能力的非营利组织提供。该数据集的独特之处在于，即使应用了20多种已建立的估计器，在评估该非营利组织的有效性时，仍然产生了不一致的结果。为了解决这个问题，研究人员创建了一个基准，使用合成结果来评估估计器的准确性。该基准广泛探索了性能如何随着现实世界条件（如样本大小、治疗相关性、倾向分数准确性）的变化而变化。基于此基准，研究人员发现，基于简单直观的回归调整的双重鲁棒治疗效应估计器通常比其他更复杂的估计器表现更好。为了更好地支持对双重鲁棒估计器的理论理解，研究人员推导了任何使用数据集分割来获得无偏估计的估计器的方差闭合形式表达式。这一表达式激发了设计一种新的双重鲁棒估计器，该估计器在拟合回归调整函数时使用了一种新颖的损失函数。研究人员发布了包含数据集和基准的Python包，该包以模块化的方式构建，以促进新数据集和估计器的添加。

相关研究论文

• Benchmarking Estimators for Natural Experiments: A Novel Dataset and a Doubly Robust Algorithm

  纽约大学 · 2024年