FALCON-VLA/CALVIN-3D_PCD-ABC_D
收藏资源简介：
此数据集仓库包含来自CALVIN数据集ABC-D设置（训练/验证）下的静态相机和腕部相机、在世界坐标系中预处理的点云数据。
许可证：Apache-2.0 标签： - VLA（视觉-语言-动作，Vision-Language-Action） - ICLR（国际学习表征会议） - ICLR 2026 - 视觉-语言-动作 - 空间理解 - 通用机器人策略 - CALVIN数据集 <div align="center"> <h1>| <em>FALCON</em> | 从空间到动作：基于空间基础先验的视觉-语言-动作模型落地（ICLR 2026）</h1> <a href="https://arxiv.org/abs/2510.17439" target="_blank"> <img alt="arXiv论文：FALCON" src="https://img.shields.io/badge/arXiv-FALCON-red?logo=arxiv" height="25" /> </a> <a href="https://falcon-vla.github.io/" target="_blank"> <img alt="项目官网：falcon.io" src="https://img.shields.io/badge/🌎_官网-falcon.io-blue.svg" height="25" /> </a> <a href="https://github.com/FALCON-VLA/FALCON" target="_blank"> <img alt="GitHub代码：FALCON" src="https://img.shields.io/badge/代码-FALCON-181717?logo=github&logoColor=white" height="25" /> </a> <a href="https://huggingface.co/papers/2510.17439" target="_blank"> <img alt="Hugging Face论文：FALCON" src="https://img.shields.io/badge/%F0%9F%A4%97%20_论文-FALCON-ffc107?color=ffc107&logoColor=white" height="25" /> </a> <a href="https://huggingface.co/FALCON-VLA/FALCON-series" target="_blank"> <img alt="Hugging Face模型：FALCON" src="https://img.shields.io/badge/%F0%9F%A4%97%20_模型-FALCON-ffc107?color=ffc107&logoColor=white" height="25" /> </a> <br> <a href="https://www.python.org/" target="_blank"> <img alt="Python 3.8+" src="https://img.shields.io/badge/Python-%3E=3.8-blue" height="25" /> </a> <a href="https://pytorch.org/" target="_blank"> <img alt="PyTorch 2.1+" src="https://img.shields.io/badge/PyTorch-%3E=2.1-orange" height="25" /> </a> </div> <div align="center"> <br> <div style="text-align: center;"> <a href="https://scholar.google.com/citations?user=8nrJ1vsAAAAJ&hl=en" target="_blank">张正申</a>   <a href="https://scholar.google.com/citations?user=4dokjDoAAAAJ&hl=zh-CN" target="_blank">李昊</a>   <a href="https://scholar.google.com/citations?user=6XyNVowAAAAJ&hl=en" target="_blank">戴亚伦</a>   <a href="https://scholar.google.com/citations?user=ozatRA0AAAAJ&hl=zh-CN" target="_blank">朱正邦</a>   <a href="https://scholar.google.com/citations?user=VhToj4wAAAAJ&hl=zh-CN" target="_blank">周磊</a>   <br> <a href="https://sg.linkedin.com/in/liu-chenchen" target="_blank">刘晨晨</a>   <a href="" target="_blank">王栋</a>   <a href="https://scholar.google.com/citations?user=mfH9UFIAAAAJ&hl=en" target="_blank">Francis E. H. Tay</a>   <a href="https://ch3cook-fdu.github.io/" target="_blank">陈思锦</a>   <br> <a href="https://liuziwei7.github.io/" target="_blank">刘子威</a>   <a href="https://scholar.google.com/citations?user=i8wNtSgAAAAJ&hl=en" target="_blank">刘羽潇</a><sup>*</sup><sup>†</sup>   <a href="https://scholar.google.com/citations?user=laOWyTQAAAAJ&hl=zh-CN" target="_blank">李行星</a><sup>*</sup>   <a href="https://panzhous.github.io/" target="_blank">周攀</a><sup>*</sup>   <br> <p style="text-align: center; margin-bottom: 0;"> <span class="author-note"><sup>*</sup>通讯作者</span>  <span class="author-note"><sup>†</sup>项目负责人</span> </p> <br> <p style="text-align: center;"> 字节跳动Seed <br> 新加坡国立大学   南洋理工大学 <br> 清华大学   新加坡管理大学</p> </div> </div> ## 🚀 引言 现有视觉-语言-动作（Vision-Language-Action, VLA）模型可在3D现实场景中执行任务，但通常基于2D编码器构建，存在空间推理缺口，限制了泛化能力与适应性。本工作提出**FALCON（From Spatial to Action，从空间到动作）**，这一新颖范式将丰富的3D空间Token注入VLA模型的动作头，在不破坏视觉-语言对齐的前提下，实现稳健的空间理解能力，并在多样的操作任务中取得当前最优性能。详见我们的论文[此处](https://arxiv.org/abs/2510.17439)。 # 点云格式CALVIN数据集_ABC-D 数据集卡片 ## 数据集详情 本数据集仓库包含来自[CALVIN数据集](https://github.com/mees/calvin)的ABC-D设置（训练/验证集）中静态相机与腕部相机的世界坐标系下预处理点云数据。**注意：相关相机外参已弃用。如需获取准确的静态相机参数，请参阅[此仓库](https://huggingface.co/datasets/FALCON-VLA/CALVIN-3D_cam-params)。** ### 数据集来源 <!-- 提供数据集的基础链接。 --> - **仓库地址**：[CALVIN数据集_ABC-D](https://github.com/mees/calvin) - **论文地址**：[CALVIN：面向长时序机器人操作任务的语言条件策略学习基准](https://arxiv.org/pdf/2112.03227) ## 📦 使用方法 <!-- 解答数据集的预期使用方式相关问题。 --> 我们提供了一种高效方式来下载数据集分片、将其合并为单个归档文件，随后解压得到最终数据。 1. 创建用于存放下载分片的文件夹 bash mkdir -p downloaded_parts/ 2. 下载数据集分片 你可以使用官方的`Hugging Face CLI`工具或`hfd.sh`脚本： **选项A：Hugging Face CLI** bash huggingface-cli download FALCON-VLA/CALVIN-3D_PCD-ABC_D --repo-type dataset **选项B：使用hfd.sh脚本高速下载（推荐）** bash # 安装依赖项 sudo apt-get install aria2 git-lfs -y # 下载辅助脚本 wget https://hf-mirror.com/hfd/hfd.sh chmod +x hfd.sh # 下载数据集分片 ./hfd.sh FALCON-VLA/CALVIN-3D_PCD-ABC_D --dataset --tool aria2c -x 8 -j 5 --include "*.tar.gz" 3. 合并下载的分片 确保所有分片文件都放置在`downloaded_parts/`目录下，随后将其合并为单个tar包： bash cat downloaded_parts/packaged_ABC_D*.tar.gz > packaged_ABC_D.tar.gz 4. 解压合并后的归档文件 bash tar -xzvf ./packaged_ABC_D.tar.gz -C ./ 解压完成后，数据集文件将位于当前工作目录中。 如需了解点云数据加载细节，请参阅我们发布的数据类[**DiskCalvinDataset3D**](https://github.com/FALCON-VLA/FALCON/blob/92d466736d1dd5cdcbb62a27277f0a4113273334/falcon/data/calvin_dataset.py#L1045)。 ## 数据集结构 <!-- 本节提供数据集字段的描述，以及数据集结构的额外信息，例如划分数据集的标准、数据点之间的关系等。 --> 解压后，数据集的组织形式如下： bash packaged_ABC_D/ ├── training/ │ ├── episode_0000001.npz │ ├── episode_0000002.npz │ └── ... └── validation/ ├── episode_0000038.npz ├── episode_0000039.npz └── ... 每个`.npz`文件对应一个轨迹片段（episode），包含以下字段： bash static_pcd: 静态相机视角下的点云数据，形状：(200, 200, 3) static_rgb: 静态相机视角下的RGB图像，形状：(200, 200, 3) gripper_pcd: 腕部相机视角下的点云数据，形状：(84, 84, 3) gripper_rgb: 腕部相机视角下的RGB图像，形状：(84, 84, 3) annotation_id: 轨迹片段标注标识符，类型：int **注意：`static_cam_ex_mat`与`gripper_cam_ex_mat`已弃用，当前流程中不再使用。** ## 🤗 常见问题解答 若您遇到任何问题，欢迎提交Issue或通过讨论区联系我们。感谢您的反馈与贡献！🚀 ## 🖊️ 引用 若您的研究中使用了本项目，请引用以下文献： BibTeX @article{zhang2025spatial, title={From spatial to actions: Grounding vision-language-action model in spatial foundation priors}, author={Zhang, Zhengshen and Li, Hao and Dai, Yalun and Zhu, Zhengbang and Zhou, Lei and Liu, Chenchen and Wang, Dong and Tay, Francis EH and Chen, Sijin and Liu, Ziwei and others}, journal={arXiv preprint arXiv:2510.17439}, year={2025} } BibTeX @article{mees2022calvin, title={Calvin: A benchmark for language-conditioned policy learning for long-horizon robot manipulation tasks}, author={Mees, Oier and Hermann, Lukas and Rosete-Beas, Erick and Burgard, Wolfram}, journal={IEEE Robotics and Automation Letters}, volume={7}, number={3}, pages={7327--7334}, year={2022}, publisher={IEEE} } ## 🪪 许可证 所有数据集以及我们的[代码仓库](https://github.com/FALCON-VLA/FALCON)均采用Apache-2.0许可证发布。 ## ❤️ 致谢 FALCON的开发参考了以下项目的代码：[RoboVLMs](https://github.com/Robot-VLAs/RoboVLMs/tree/main?tab=readme-ov-file)、[Microsoft Kosmos-2](https://github.com/microsoft/unilm/tree/master/kosmos-2)、[VGGT](https://github.com/facebookresearch/vggt)以及[ManiUniCon](https://github.com/Universal-Control/ManiUniCon)。感谢这些优秀的开源工作！
