datasets

Calibench 是一个用于相机和相机-IMU（惯性测量单元）校准的基准测试数据集集合，作为 Calibench 基准测试的官方组成部分，旨在为校准算法的评估提供标准化数据。数据集包含两部分：一是官方捕获的数据（如 `virig-3cams` 和 `virig-4cams`），使用定制设备 VI-rig 采集，包含多相机和多IMU的同步数据，以ROS `.bag` 文件格式发布，并附带 AprilGrid 标定板配置；二是第三方数据集（如 EuRoC MAV、TUM-VI 等），本仓库不直接重新分发其数据，而是提供下载配方（`recipes`）从原始宿主获取并验证。总计涵盖13个不同的物理设备/数据集，支持61个不同的模型变体配置（排行榜配置）。数据规模方面，官方捕获部分包含25个ROS数据包（`.bag`文件）。数据内容涉及多种相机类型（包括全局快门和卷帘快门）、镜头（包括标准镜头和高达195度的鱼眼镜头）、IMU传感器以及不同的标定板（主要是AprilGrid和棋盘格）。该数据集适用于计算机视觉和机器人领域的相机内参校准、相机-IMU外参联合校准、鱼眼镜头建模、卷帘快门校正等任务。官方捕获数据采用 CC-BY-4.0 许可，第三方数据集则遵循其各自的上游许可（如 CC BY、CC BY-NC-SA、GPL v2 等）。使用数据时需按规定引用 Calibench 基准、相关原始论文（对于官方捕获数据需引用 MVIS 论文）以及所使用的每个上游数据集。Calibench is a benchmark dataset collection for camera and camera-IMU (Inertial Measurement Unit) calibration. It serves as the official component of the Calibench benchmark, aiming to provide standardized data for the evaluation of calibration algorithms. The dataset consists of two parts: 1) Officially captured data (e.g., `virig-3cams` and `virig-4cams`), collected using a custom device called VI-rig, containing synchronized multi-camera and multi-IMU data, released in ROS `.bag` file format with AprilGrid calibration board configurations; and 2) Third-party datasets (such as EuRoC MAV, TUM-VI, TUM-RGBD, TUM-VIE, Monado-MSD, Hilti, PennCOSYVIO, TUM-RS, Urban-fisheye). This repository does not directly redistribute their data but provides download recipes (`recipes`) to fetch and verify them from original sources. In total, it covers 13 different physical devices/datasets, supporting 61 different model variant configurations (leaderboard configurations). In terms of data scale, the officially captured part includes 25 ROS data packages (`.bag` files). The data content involves various camera types (including global and rolling shutters), lenses (including standard lenses and fisheye lenses up to 195 degrees), IMU sensors, and different calibration boards (primarily AprilGrid and chessboard). This dataset is suitable for tasks in computer vision and robotics, such as camera intrinsic calibration, camera-IMU extrinsic joint calibration, fisheye lens modeling, and rolling shutter correction. The officially captured data is licensed under CC-BY-4.0, while third-party datasets follow their respective upstream licenses (including CC BY, CC BY-NC-SA, GPL v2, etc.). Usage requires proper citation of the Calibench benchmark, relevant original papers (for officially captured data, the MVIS paper must be cited), and each upstream dataset used.

原始信息汇总

数据集概述

• 名称: Calibench: Calibration Benchmark Datasets
• 许可证: CC-BY-4.0（自有数据）；第三方数据集遵守各自上游许可证
• 语言: 英语
• 标签: 标定、相机标定、相机-IMU标定、视觉-惯性、卷帘快门、鱼眼、基准测试
• 主页: https://openmvis.com
• 排行榜: https://huggingface.co/spaces/calibench-vi/leaderboard
• 社区数据集: https://huggingface.co/datasets/calibench-vi/community
• 结果/排行榜数据: https://huggingface.co/datasets/calibench-vi/results

数据集结构

配置（文件夹）	来源	设备描述	是否托管于此
virig-3cams	自有	VI-rig：3个相机 + 4个IMU，AprilGrid序列（ROS bag文件）	✅ 托管（CC-BY-4.0）
virig-4cams	自有	VI-rig：4个相机 + 4个IMU，AprilGrid序列（ROS bag文件）	✅ 托管（CC-BY-4.0）
recipes	第三方	EuRoC, TUM-VI, TUM-RGBD, TUM-VIE, Monado-MSD, Hilti, PennCOSYVIO, TUM-RS, Urban-fisheye	⛔ 仅提供下载配方

基准测试数据集速览

共包含13个物理数据集/设备，对应排行榜上的61个配置。每个数据集的序列（Sequence）数量、相机规格、快门类型、镜头类型、IMU传感器、标定板及许可证信息如下：

• VI-rig 3-cam（自有，virig-3cams）：5个序列，3个相机（FLIR Blackfly BFS-U3-16S2M 720×540 @30 + RealSense T265 2×848×800 @30），全局快门（GS），标准+163°鱼眼镜头，4个IMU（GX3-25 @500 Hz, GX3-35 @100 Hz, MTi-100 @400 Hz, BMI055 @200 Hz），AprilGrid 6×6，CC BY 4.0
• VI-rig 4-cam（自有，virig-4cams）：5个序列，2个相机（ELP立体 2×640×480 @25 + T265），卷帘快门（RS）+全局快门（GS），标准+163°鱼眼镜头，4个IMU（同上），AprilGrid 6×6，CC BY 4.0
• EuRoC MAV：3个序列，2个相机（Aptina MT9V034 752×480 @20），全局快门标准镜头，ADIS16448 @200 Hz，AprilGrid + 棋盘格，CC BY
• TUM-VI：8个序列，2个相机（IDS uEye UI-3241LE 1024² @20），全局快门195°鱼眼，BMI160 @200 Hz，AprilGrid 6×6，CC BY 4.0
• TUM-RS：2个序列，2个相机（uEye 1280×1024 @20，右侧卷帘快门评估序列），全局快门标定/卷帘快门评估，126°镜头，BMI160 @200 Hz，AprilGrid 6×6，许可证未说明
• TUM-VIE（帧相机）：4个序列，2个相机（uEye 1024² @20），全局快门，101°×76°，BMI160 @200 Hz，AprilGrid 6×6，CC BY 4.0
• TUM RGB-D：9个序列，1个相机（Kinect v1 / Asus Xtion 640×480 @30 RGB+IR），卷帘快门，标准镜头，无IMU，棋盘格，CC BY 4.0
• Double Sphere calib（TUM）：3×5种镜头（IDS uEye本体，5种镜头），全局快门，195/183/150/126/122°，无IMU，AprilGrid 6×6，许可证未说明
• Monado MSD（MIC）：6个序列，2个相机（Valve Index立体 2×960² @54），全局快门，~120°鱼眼，无IMU，AprilGrid（3 cm），CC BY 4.0
• Hilti 2022：6个序列，5个相机（Alphasense Core 5× 720×540 @40），全局快门，126°×92°，BMI085 @400 Hz，AprilGrid 7×12（15 cm），CC BY-NC-SA
• Hilti 2023 handheld：6个序列，5个相机（Alphasense Core 5× 720×540 @10），全局快门，~126°×92°，BMI085 @200 Hz，AprilGrid 6×6，CC BY-NC-SA
• PennCOSYVIO：3个序列，3个相机（GoPro Hero 4 1920×1080 @30），卷帘快门，118°广角，无IMU，棋盘格（10.8 cm），仅引用
• Urban fisheye（ImprovedOcamCalib）：1–3个序列，多种相机（Lensation BF2M15520 / BF2M12520 + GoPro Hero），全局快门，~185°，无IMU，棋盘格，GPL v2

使用说明

自有数据（托管配置）：

• 下载bag文件并喂给标定工具。示例命令： bash hf download calibench-vi/datasets --repo-type dataset --include "virig-3cams/*" --local-dir ./calibench

  或使用Python： python from huggingface_hub import snapshot_download snapshot_download("calibench-vi/datasets", repo_type="dataset", allow_patterns="virig-4cams/*", local_dir="./calibench")

第三方数据（配方）：

• 运行下载脚本来获取数据，脚本会从原始主机拉取并校验校验和。示例命令： bash python recipes/download.py --dataset euroc_mav --out ./data

许可证与归属

• 自有数据（virig-3cams, virig-4cams）：采用CC-BY-4.0许可证，可免费使用（包括商业用途），但需注明出处（引用Calibench和MVIS论文）。
• 第三方数据：未在本仓库中重新分发，recipes/中的配置负责从原始主机获取。每个数据集需遵循其自身许可证和引用条款（部分为非商业或GPL许可证）。

引用要求

使用数据时，需引用：

1. Calibench（基准测试）
2. MVIS论文（Yang等，IJRR 2024）——用于自有数据（virig-*）
3. 每个上游数据集的原始论文（具体引用见下表）

配置/子集	必须引用的文献	许可证
virig-3cams, virig-4cams（自有）	MVIS – Yang et al. 2024	CC-BY-4.0
recipes · EuRoC	Burri 2016	CC BY
recipes · TUM-VI	Schubert 2018 (TUM-VI)	CC BY 4.0
recipes · TUM-RGBD	Sturm 2012	CC BY 4.0
recipes · TUM-VIE	Klenk 2021	CC BY 4.0
recipes · Monado-MSD	de Mayo 2025	CC BY 4.0
recipes · Hilti	Zhang 2023 (+ Helmberger 2022)	CC BY-NC-SA 3.0
recipes · PennCOSYVIO	Pfrommer 2017	仅引用
recipes · TUM-RS	Schubert 2018 (DSO-RS)	无许可证说明
recipes · Urban-fisheye	Urban 2015	GPL v2

贡献指南

• 提交排行榜结果：向GitHub仓库 yangyulin/calibench-submissions 提交PR，包含标定输出结果；CI将重新运行评估并发布验证后的结果到 calibench-vi/results。
• 贡献数据集：向 calibench-vi/community 提交PR，附带数据集卡片和许可证；无法重新许可的数据需以 download.py 配方形式提交，而非重新托管字节。

维护者/联系方式

• Yulin Yang（联系方式待补充）
• 问题和讨论：仓库的Community标签页或GitHub Discussions。

搜集汇总

数据集介绍

构建方式

Calibbench数据集是面向相机与相机-IMU标定任务的综合性基准测试集合，由官方自主采集的原始数据与第三方公开数据集两部分构成。官方数据源自多视觉-惯性系统（MVIS）平台，通过配备多目相机与惯性测量单元的VI-rig硬件采集，生成包含AprilGrid标定板的原始ROS bag文件，并附带标定板配置文件。第三方数据集则通过下载配方（manifest与校验和）从原始托管源获取，确保仅链接而非重新托管第三方字节，从而维持单一许可协议并尊重上游使用条款。

特点

该数据集涵盖13个物理数据集/平台，支持61种模型变体配置，覆盖全局快门与卷帘快门相机、标准与鱼眼镜头、单目与多目相机-IMU组合等多元标定场景。官方采集的virig系列包含3相机与4相机两种配置，配备高频率IMU（最高500 Hz）与多种标定板（如AprilGrid 6×6）。第三方数据集如EuRoC、TUM-VI等提供了丰富的室内外、动态与静态环境数据，部分包含非商业许可限制，用户需根据各自条款进行引用与使用。

使用方法

用户可直接下载官方托管的ROS bag序列并输入至标定工具箱（如Kalibr、MVIS、Basalt）使用，命令如`hf download calibench-vi/datasets --include \"virig-3cams/*\"`。对于第三方配方，执行`python recipes/download.py --dataset [名称] --out [路径]`即可从原始源获取含校验数据。所有数据集均需引用Calibench基准论文，官方数据还需引用MVIS论文，第三方数据集则依据各自许可规范完成引用，完整BibTeX信息收录于`recipes/manifest.json`及CITATION.cff文件中。

背景与挑战

背景概述

Calibench基准数据集由Yulin Yang等研究者于2026年创建，隶属于OpenMVIS项目，旨在为相机与相机-惯性测量单元（IMU）的联合标定提供标准化评估平台。该数据集填补了多视觉-惯性系统标定领域长期缺乏统一评价基准的空白，通过整合13个物理数据集（包含自主研发的VI-rig多相机多IMU采集系统及EuRoC、TUM-VI等第三方经典数据集），构建了涵盖全局/卷帘快门、标准/鱼眼镜头、有无IMU等多种配置的61个评测配置，推动标定算法在真实场景中的可重复性验证。作为Calibench基准的核心数据仓库，其发布促进了多视觉惯性系统（MVIS）领域的可复现研究，相关论文发表于IJRR 2024，对视觉惯性导航、机器人感知及增强现实等应用领域产生了重要影响。

当前挑战

数据集面临的核心挑战在于解决多模态传感器标定领域的根本性难题：不同传感器（如IMU与相机）间的异频同步、非线性畸变模型差异（如鱼眼镜头的极宽视场与标准镜头的小视场差异）、以及滚动快门引发的时序与空间变形的耦合效应。构建过程中需应对三大技术挑战：其一，自主研发的VI-rig系统需同时集成4种IMU和4个不同视场相机，确保硬件同步精度达亚像素级；其二，第三方数据集（如Hilti的NC许可数据、Urban-fisheye的GPL数据）的整合需设计recipe机制，通过可校验的下载脚本而非直接托管二进制字节来遵守上游许可条款；其三，61种评测配置因相机模型变体（如同一原始数据可设置不同投影模型）需维护复杂的元数据关联，对数据版本控制与重复性定义提出了严苛要求。

常用场景

经典使用场景

Calibbench数据集为多传感器标定领域提供了一个系统化的评估基准，其最经典的使用场景是衡量相机与惯性测量单元（IMU）联合标定算法的精度与鲁棒性。研究者可借助其中包含的多种标定序列，如带有全局快门与滚动快门传感器的VI-rig配置，以及涵盖鱼眼、标准透镜等多种镜头类型的场景，全面测试算法在面对不同硬件组合、运动模式和光照条件下的表现。数据集以原始的ROS bag文件形式呈现，便于直接接入Kalibr、MVIS、Basalt等主流标定工具箱，使得从数据加载到结果评估的流程高度标准化和可复现。

实际应用

在自动驾驶、无人机导航、增强现实和机器人自主作业等实际系统中，精确的传感器标定是实现可靠状态估计与环境感知的前提。Calibbench数据集直接服务于这些领域的工程实践，为开发者和研究人员提供了一个验证标定算法在实际硬件上表现的标准化工具。例如，VI-rig中的滚动快门相机序列可模拟低成本消费级摄像头在高速运动下的标定挑战，而鱼眼镜头配置则可用于评估大视场感知系统的标定质量。通过运行数据集提供的下载与评估脚本，工程师能够在部署前快速筛选出最适合其传感器平台的标定方案，有效缩短产品研发周期并提升系统鲁棒性。

衍生相关工作

Calibbench数据集的推出衍生了多项具有深远影响的学术贡献。首先，其核心数据来源——MVIS项目所提出的多视觉惯性系统分析与标定方法，为复杂多相机-IMU系统的联合标定提供了理论基石。其次，基于该数据集搭建的排行榜机制，激励了研究者不断优化标定算法，催生了诸如基于连续时间的批量标定优化、深度学习辅助的自动标定等创新工作。此外，数据集中收录的TUM-RS和Urban-fisheye等子集，也各自支撑了针对滚动快门建模和大畸变鱼眼相机标定的专题研究。Calibbench本身作为一个不断扩展的社区平台，通过接纳贡献数据集和评估结果，持续推动着标定领域的知识共享与技术迭代。