rdi-repro-runs

该数据集是ICML 2026论文#11252（RDI）复现项目的一部分，专注于领域泛化任务。它包含运行在DomainBed框架上的实验日志和审计输出，具体涉及PACS数据集的复现结果。数据内容涵盖每轮运行的日志文件（如results.jsonl和out.txt）、汇总结果（summary.csv）、Claim-1相关图表，以及Claim-2的理论审计脚本和CSV输出。这些数据用于支持领域泛化方法的复现和验证，适用于机器学习研究中的实验分析、结果审计和模型性能评估。This dataset is part of the reproduction project for ICML 2026 paper #11252 (RDI), which focuses on domain generalization tasks. It contains experimental logs and audit outputs generated using the DomainBed framework, specifically covering the reproduction results of the PACS dataset. The dataset includes log files for each experimental run (e.g., results.jsonl and out.txt), summary results (summary.csv), charts related to Claim-1, as well as theoretical audit scripts and CSV outputs for Claim-2. These data support the reproduction and validation of domain generalization methods, and are suitable for experimental analysis, result auditing, and model performance evaluation in machine learning research.

原始信息汇总

• 数据集名称：RDI reproduction — run logs & audit outputs
• 许可证：MIT
• 标签：领域泛化（domain-generalization）、DomainBed、ICML-2026 复现
• 内容：
  • 每次运行的 DomainBed 日志文件（results.jsonl, out.txt）
  • 收集的结果汇总（results/summary.csv）
  • Claim-1 的图表
  • Claim-2 的理论审计脚本及 CSV 输出
• 用途：用于复现 ICML 2026 论文 #11252（RDI）的实验结果
• 关联模型仓库：kaustubh/rdi-repro-pacs-resnet50（https://huggingface.co/kaustubh/rdi-repro-pacs-resnet50）

搜集汇总

数据集介绍

构建方式

本数据集专为复现ICML 2026论文#11252（RDI）中的核心实验而构建。数据集汇聚了每个独立训练运行的DomainBed日志文件，包括`results.jsonl`与`out.txt`，并将这些原始记录整合为`results/summary.csv`格式的汇总结果。此外，数据集还包含了用于验证Claim-1的图表生成脚本及对应输出，以及执行Claim-2理论审计的Python脚本与CSV结果文件，从而构建了一个完整的、可追溯的复现实验记录集合。

特点

该数据集的核心特点在于其高度的系统性与可复现性。它以每个训练运行（run）为最小单元，完整保存了原始日志与最终指标，使得研究者能够逐项核对实验结果。通过包含评估脚本与审计输出，数据集不仅提供了最终结论，更展示了从原始数据到实验结论的完整证据链，这为领域泛化研究中的基准测试与结果验证树立了透明化范例。

使用方法

用户可通过加载`results/summary.csv`快速获取所有运行的综合结果，进行跨实验的性能对比。若要深入分析某次具体运行，可直接查阅其对应的`results.jsonl`与`out.txt`日志。对于需要复现论文中特定图表的用户，可以运行配套的Claim-1与Claim-2审计脚本，将其输出与本数据集提供的CSV结果进行交叉验证，以确保复现过程的一致性。

背景与挑战

背景概述

领域泛化（Domain Generalization）作为机器学习领域的重要研究方向，致力于提升模型在面对未见分布数据时的泛化能力，其中DomainBed基准测试平台为算法评估提供了标准化框架。RDI（Robust Domain Interpolation）方法于ICML 2026会议上提出，旨在通过稳健的域内插策略缓解分布偏移问题。由kaustubh等研究者构建的rdi-repro-runs数据集，诞生于对该方法可重复性验证的需求背景之下，核心研究目标在于系统复现RDI在PACS数据集上的实验效果，并基于ResNet-50架构进行严谨的审计分析。该数据集不仅提供了详尽的训练日志、结果摘要及声明验证图表，还配套了理论审计脚本，为领域泛化研究的透明性和可信度树立了标杆，对推动可重复计算研究范式具有重要影响力。

当前挑战

领域泛化面临的核心挑战在于模型在训练与测试分布存在显著差异时性能衰减，RDI方法虽提出理论解决方案，但其实际复现过程却遭遇多重困难。数据层面的挑战表现为原始PACS数据集在不同域间风格与语义不均，导致内插策略的稳定性难以保证；实验构建中的挑战则源于DomainBed框架的高度定制化，复现时需要精确匹配超参数、优化器状态与随机种子，而原始文献的细节疏漏或版本差异均可能引发结果偏离。此外，审计脚本的自动化验证对代码鲁棒性和数值精度提出了严苛要求，微小误差即可能扭曲结论，这些共同构成了RDI可重复性验证的技术壁垒。

常用场景

经典使用场景

该数据集专为复现ICML 2026论文RDI（代表性差异归纳）的核心实验而构建，经典使用场景聚焦于域泛化（Domain Generalization）领域的可重复性验证。研究者可借助该数据集中存储的逐次运行日志（如results.jsonl、out.txt）与汇总统计表格（summary.csv），精确复现RDI方法在DomainBed框架下的原始实验流程，尤其针对PACS数据集上的ResNet-50骨干网络，从而评估该方法在跨域图像分类任务中的泛化性能。

衍生相关工作

该数据集衍生的相关工作主要围绕域泛化复现性工程与基准测试规范化展开。一方面，它启发了后续学者构建类似的“可审计复现数据集”，例如针对其他ICML/NeurIPS论文设计配套的运行日志仓库，形成域泛化领域的官方验证套件。另一方面，该数据集中Claim-2的理论审计脚本推动了自动化理论一致性检验工具的开发，使得研究者能够更系统地检查算法实现与原理论证之间的逻辑缺口，为域泛化框架的稳健设计提供了新的方法论参考。

数据集最近研究

最新研究方向

该数据集聚焦于ICML 2026论文RDI的复现验证，记录DomainBed框架下跨域泛化任务的运行日志与审计输出。近期前沿研究方向包括利用域泛化（Domain Generalization）技术解决模型在分布外（OOD）场景下的性能退化问题，这与现实世界中数据分布动态变化的热点事件（如自动驾驶的天气适应性、医学影像的跨设备迁移）紧密关联。通过提供细粒度的实验结果和可复现的审计脚本，该数据集为评估域泛化算法的稳健性、透明性及理论一致性（如Claim-1和Claim-2）建立了基准，对推动开放科学和可重复性研究具有重要意义。