Spatio-Temporal Road Image Dataset for Exploration (STRIDE)

STRIDE数据集是一个用于探索和自主性的时空道路图像数据集，由Tera AI、UC Santa Cruz、UC Berkeley和California Institute of Technology等研究机构创建。该数据集包含约630万个图像序列，由131,000张全景图像生成，每张图像都被投射成多个方向，从而产生了27倍的信息量。数据集的每个序列都包含图像、空间坐标、时间坐标以及行动指令等信息，可以用于训练生成世界模型，如TARDIS。该数据集适用于地理定位、可控的逼真图像合成、自主自我控制和时间理解等任务。

The STRIDE dataset is a spatio-temporal road image dataset designed for exploration and autonomy, created by research institutions including Tera AI, UC Santa Cruz, UC Berkeley, and the California Institute of Technology. This dataset contains approximately 6.3 million image sequences generated from 131,000 panoramic images. Each panoramic image is projected onto multiple viewing directions, resulting in a 27-fold increase in overall information volume. Each sequence in the dataset includes information such as images, spatial coordinates, temporal coordinates, and action instructions, and can be used to train generative world models such as TARDIS. This dataset is applicable to tasks including geolocation, controllable photorealistic image synthesis, autonomous self-control, and temporal understanding.

原始信息汇总

STRIDE数据集概述

基本信息

• 许可证: CC-BY-NC-4.0
• 下载大小: 4,229,475,317字节
• 数据集大小: 4,495,674,145.367字节

数据集结构

特征

• image: 图像
• file_name: 字符串
• path_index: 整型
• node_index: 整型
• split: 字符串
• latitude: 浮点型
• longitude: 浮点型
• month: 整型
• year: 整型
• move: 浮点型
• heading: 浮点型
• month_action: 整型
• year_action: 整型

数据分块

• 训练集
  • 样本数: 72,133
  • 大小: 3,114,758,143.367字节
• 测试集
  • 样本数: 34,000
  • 大小: 1,380,916,002字节

数据集描述

• 名称: STRIDE (Spatio-Temporal Road Image Dataset for Exploration)
• 内容: 包含约82B个标记，共6M个视觉"句子"或标记序列。这些序列由131k张全景图像及其元数据和公开可用的高速公路系统数据生成。
• 用途: 适用于生成性世界模型训练，将真实的街景全景观测转化为可导航、交互的环境。

数据集获取

• 完整数据集: bash gsutil -m cp gs://tera-tardis/STRIDE-1/training.jsonl . # ~327GB gsutil -m cp gs://tera-tardis/STRIDE-1/testing.jsonl . # ~9GB

• 代码: TARDIS GitHub

• 检查点: bash gsutil -m cp gs://tera-tardis/STRIDE-1/checkpoint.msgpack . # ~10GB

联系方式

• Héctor Carrión: [e-mail]
• Yutong Bai: [e-mail]
• Víctor A. Hernández Castro: [e-mail]
• Kishan Panaganti: [e-mail]
• Ayush Zenith: [e-mail]
• Matthew Trang: [e-mail]
• Tony Zhang: [e-mail]

搜集汇总

数据集介绍

构建方式

STRIDE数据集的构建采用了创新的多模态序列化方法，通过深度优先搜索算法将13.1万张全景图像组织成360万条可导航的时空序列。研究团队以美国圣马特奥市为地理边界，整合Google街景的360度全景图像与OpenStreetMap道路网络数据，构建了具有空间坐标（经纬度）和时间戳（年月）标记的图结构。每个节点包含1024维图像令牌、2维空间坐标和2维时间坐标，通过投影变换将单张全景图扩展为27倍的有效数据量，同时保持SSIM>0.81的时间一致性。测试集采用双重隔离策略，空间上保留10%地理区域，时间上完全隔离2023-2024年数据以确保评估严谨性。

特点

该数据集的核心特征体现在其时空耦合的导航图结构上，将传统静态街景数据转化为可交互的时空探索环境。通过独特的节点设计，每个数据点同步编码视觉观察（512x512像素图像）、地理状态（米级精度经纬度）和时间状态（年月标记），支持空间移动（距离/航向）与时间跳跃（年月偏移）的双重操作指令。数据集覆盖16年时间跨度和9.2×7.5公里地理区域，包含82亿令牌构成的630万条视觉语句，在保持原始数据保真度的同时，通过智能投影实现27倍数据扩展效率。特别设计的单节点环视序列（360°/90°×4）增强了环境感知的连续性。

使用方法

该数据集适用于训练时空感知的生成式世界模型，支持四种典型应用范式：1）可控图像生成，通过输入空间位移（0-50米）和时间偏移（±30年）指令驱动场景变换；2）地理参照任务，利用经纬度令牌实现米级定位（60%预测误差<10米）；3）自主导航验证，模型生成的动作指令在4米车道宽度内保持77.4%的道路贴合率；4）时间推理，支持跨季节（SSIM<0.12）和跨年度的环境变化模拟。使用时应加载JSONL格式的令牌序列，通过16K上下文窗口的Transformer架构处理，注意测试时需严格隔离时空保留区域以验证泛化能力。

背景与挑战

背景概述

STRIDE（Spatio-Temporal Road Image Dataset for Exploration）是由Tera AI、UC Santa Cruz、UC Berkeley和California Institute of Technology的研究团队于2025年提出的一个时空道路图像数据集。该数据集旨在解决动态真实世界环境建模的挑战，通过整合360度全景图像、空间坐标和时间信息，构建了一个丰富的交互式导航环境。STRIDE的核心研究问题聚焦于如何同时建模空间和时间维度的动态变化，以支持自动驾驶和通用智能体的环境理解和决策。该数据集的影响力体现在其能够为生成式世界模型提供大规模、多模态的训练数据，推动了时空推理和可控图像生成领域的研究进展。

当前挑战

STRIDE数据集面临的挑战主要体现在两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，STRIDE旨在解决动态环境下的时空建模问题，包括季节性变化、基础设施更新等时间维度的影响，以及复杂城市道路网络的空间导航问题。这些挑战要求数据集能够捕捉环境的多变性和复杂性。在构建过程中，研究团队需要处理大规模全景图像的采集与标注、时空信息的精确对齐、以及数据的高效增强（从131k原始全景图像生成3.6M序列）。此外，数据集的时空一致性和地理覆盖范围的局限性（主要集中在San Mateo市）也是构建过程中需要克服的挑战。

常用场景

经典使用场景

STRIDE数据集在自动驾驶和时空建模领域具有广泛的应用价值，其经典使用场景包括通过360度全景图像构建时空动态环境模型，支持智能体在复杂城市环境中的导航和决策。该数据集通过将真实街景图像转化为可交互的时空序列，为研究者提供了一个高度可控的仿真平台，用于测试和验证各类时空感知算法的性能。

实际应用

在实际应用中，STRIDE数据集被广泛用于自动驾驶系统的开发和测试，尤其是在城市环境中的路径规划和动态障碍物避障。此外，该数据集还可用于城市规划和基础设施管理，通过模拟不同时间点的环境变化，帮助决策者评估城市发展的长期影响。其高精度的时空数据也为增强现实（AR）和虚拟现实（VR）应用提供了丰富的素材。

衍生相关工作

STRIDE数据集衍生了一系列经典研究工作，例如基于Transformer的时空生成模型TARDIS，该模型在STRIDE数据上训练，实现了可控的高质量图像合成和先进的时空推理能力。此外，STRIDE还启发了多个后续研究，包括时空感知的强化学习算法和动态环境下的多模态融合模型，进一步推动了智能体在复杂环境中的自主决策能力。