StereoCarla

StereoCarla 是一个高保真合成立体数据集，专为自动驾驶场景设计。该数据集由 CARLA 模拟器构建，包含了广泛的相机配置，包括不同的基线、视点和传感器位置，以及变化的光照、天气和道路几何等环境条件。StereoCarla 数据集提供了丰富的训练数据，可以帮助提高立体匹配算法的泛化能力和鲁棒性，从而推动自动驾驶和机器人领域的发展。StereoCarla is a high-fidelity synthetic stereo dataset specifically designed for autonomous driving scenarios. Constructed using the CARLA simulator, this dataset covers a wide range of camera configurations, including different baselines, viewpoints, sensor positions, as well as varying environmental conditions such as lighting, weather and road geometry. The StereoCarla dataset provides abundant training data, which can help improve the generalization ability and robustness of stereo matching algorithms, thereby promoting the development of autonomous driving and robotics fields.

原始信息汇总

OpenStereo: 立体匹配综合基准

概述

OpenStereo是一个灵活且可扩展的立体匹配项目，旨在提供全面的立体匹配基准和强基线模型。

主要特性

• 多数据集支持: 支持15个流行立体数据集，包括SceneFlow、KITTI12、KITTI15、ETH3D、Middlebury、DrivingStereo、Sintel、FallingThings、InStereo2K、UnrealStereo4k、VirtualKitti2、CREStereo、Argoverse、Spring、TartanAir和FoundationStereo
• 多模型支持: 复现了多个先进方法并达到相同或更好的性能
• 分布式数据并行(DDP)支持: 训练和测试阶段均使用官方推荐的DDP模式
• 自动混合精度(AMP)支持: 提供AMP选项
• TensorRT支持: 已集成TensorRT
• 完善的日志系统: 使用tensorboard和logging记录所有信息

最新动态

• 2025年6月12日: 集成FoundationStereo模型（训练和推理）
• 2025年1月28日: LightStereo论文被ICRA 2025接收
• 2024年6月26日: 集成TensorRT
• 2024年5月: 发布2.0版本，优化训练和测试框架
• 2024年1月: StereoBase在KITTI15排行榜上排名第一
• 2023年12月: 论文公开发布
• 2023年3月: OpenStereo正式可用

相关出版物

• ICRA25: LightStereo: Channel Boost Is All Your Need for Efficient 2D Cost Aggregation
• Arxiv24: Stereo Anything: Unifying Stereo Matching with Large-Scale Mixed Data
• Arxiv23: OpenStereo: A Comprehensive Benchmark for Stereo Matching and Strong Baseline

快速开始

提供详细的入门指南和教程，包括数据集准备、详细配置、自定义模型和高级用法等。

模型库

结果和模型可在模型库中获取。

致谢

项目基于多个开源项目开发，包括AANet、ACVNet、CascadeStereo、CFNet、COEX、DenseMatching、FADNet++、GwcNet、MSNet、PSMNet、RAFT、STTR、OpenGait、IGEV、NMRF、FoundationStereo等。

引用

@article{OpenStereo, title={OpenStereo: A Comprehensive Benchmark for Stereo Matching and Strong Baseline}, author={Guo, Xianda and Zhang, Chenming and Lu, Juntao and Wang, Yiqi and Duan, Yiqun and Yang, Tian and Zhu, Zheng and Chen, Long}, journal={arXiv preprint arXiv:2312.00343}, year={2023} }

注意: 本代码仅用于学术目的，不得用于任何商业用途。

搜集汇总

数据集介绍

构建方式

StereoCarla数据集基于CARLA仿真平台构建，通过系统化配置多样化的相机参数与环境条件生成高保真立体图像对。数据采集覆盖五种基线距离（10厘米至300厘米）、四种水平视角（0°至30°）以及俯仰与高度变化，同时模拟七种天气与光照场景。采用1600×900像素分辨率渲染左右视图，并配套生成稠密视差图与深度真值，总计包含超过69万样本，确保几何与语义多样性的全面覆盖。

特点

该数据集的核心特点在于其前所未有的多样性与可控性。通过多基线配置与动态视角变化，有效模拟真实驾驶中相机位姿的复杂性；天气与光照条件的系统性覆盖增强了模型对低可见度环境的适应性。相较于现有数据集，StereoCarla在跨域泛化能力上表现突出，在KITTI、Middlebury等基准测试中均取得最优性能，其合成数据的高保真度与真实场景的几何一致性为其核心竞争优势。

使用方法

StereoCarla适用于立体匹配模型的训练与评估，尤其侧重于泛化性能研究。用户可单独使用该数据集进行训练，或将其与其他真实或合成数据集混合以增强模型鲁棒性。数据加载需通过官方提供的开源工具链处理，支持主流的深度学习框架。评估时需遵循标准协议，如采用EPE、D1-all等指标，并在跨域测试中验证模型对未知环境的适应能力。

背景与挑战

背景概述

立体视觉作为自动驾驶深度感知的核心技术，其性能高度依赖高质量数据集的支撑。2025年由武汉大学、西安交通大学等机构联合发布的StereoCarla数据集，基于CARLA仿真平台构建，专注于解决立体匹配模型的域泛化难题。该数据集通过引入多基线配置、可变视角及动态天气条件，显著提升了数据多样性，在KITTI、Middlebury等四大权威基准测试中实现了最先进的零样本泛化性能，为自动驾驶立体视觉算法提供了高保真、可扩展的训练与评估平台。

当前挑战

立体匹配领域长期面临真实场景数据标注成本高昂、环境多样性不足的挑战，现有数据集如KITTI局限于固定基线配置，SceneFlow等合成数据缺乏真实物理特性。StereoCarla在构建过程中需攻克多维度参数协同仿真的技术难题，包括不同基线相机的外参标定、动态天气与光照的物理一致性建模，以及大规模高分辨率数据生成的算力优化，最终实现了在保持合成数据标注精度的同时，逼近真实世界的场景复杂度。

常用场景

经典使用场景

在自动驾驶立体视觉研究中，StereoCarla数据集被广泛应用于训练和评估立体匹配模型的泛化性能。其高保真合成数据涵盖了多基线配置、视角变化及复杂天气条件，为模型提供了接近真实驾驶场景的多样化训练环境。研究者通过该数据集能够系统分析不同几何参数和环境因素对深度估计精度的影响，推动立体匹配算法在跨域场景下的稳健性发展。

实际应用

该数据集在自动驾驶系统的实际部署中具有重要价值，其合成的多天气、多视角驾驶场景可直接用于训练适应现实路况的立体视觉模型。例如，在车载摄像头标定参数变化或遭遇雨雾天气时，基于StereoCarla训练的模型能保持稳定的深度估计精度，降低自动驾驶系统因环境突变引发的感知失效风险。

衍生相关工作

StereoCarla的发布催生了一系列围绕合成数据增强和跨域泛化的研究工作。例如，基于其多基线特性衍生的几何自适应网络架构研究，以及结合气象条件变化的鲁棒特征提取方法。这些工作进一步推动了如OpenStereo等开源框架的演进，形成了以可控合成数据驱动立体匹配技术发展的新范式。