JRDB-Traj

JRDB-Traj数据集是由洛桑联邦理工学院和莫纳什大学合作创建的，旨在为人群中的轨迹预测提供一个全面的基准。该数据集包含54个序列，涵盖室内外场景，从机器人的视角提供了包括所有代理位置、场景图像和点云在内的详细数据。数据集的创建过程涉及使用3D边界框注释和跟踪ID，以生成轨迹。JRDB-Traj数据集的应用领域主要集中在自主导航系统，特别是机器人和自动驾驶车辆，旨在通过预测未来位置来提高导航的安全性和效率。JRDB-Traj dataset was co-developed by École Polytechnique Fédérale de Lausanne (EPFL) and Monash University, aiming to serve as a comprehensive benchmark for trajectory prediction in crowded scenarios. The dataset contains 54 sequences covering both indoor and outdoor scenes, and provides detailed data including positions of all agents, scene images and point clouds from the robot's perspective. The creation process of the dataset utilizes 3D bounding box annotations and tracking IDs to generate trajectories. The application scenarios of JRDB-Traj dataset mainly focus on autonomous navigation systems, particularly robots and autonomous vehicles, with the goal of enhancing the safety and efficiency of navigation by predicting future positions of agents.

搜集汇总

数据集介绍

构建方式

在机器人自主导航领域，轨迹预测模型的性能评估常受限于理想化假设，JRDB-Traj数据集通过扩展JRDB数据集构建而成，旨在弥补这一缺口。该数据集以机器人的第一视角采集动态环境中的多模态数据，包括RGB图像与三维点云，并利用已有三维边界框标注，以人物边界框中心点为基础生成轨迹数据。遵循JRDB官方划分标准，将54个序列均衡分配至训练、验证与测试集，确保室内外场景及机器人运动状态的平衡分布，且每个场景的所有帧严格归属于单一划分，从而为端到端轨迹预测研究提供真实且结构化的数据基础。

特点

JRDB-Traj数据集的核心特点在于其端到端的评估框架与多模态数据融合。数据集不仅提供丰富的视觉与点云信息，还特别关注实际应用中早期模块（如检测与跟踪）的不完美性对轨迹预测的影响，从而更贴近真实世界的复杂动态。此外，数据集引入了创新的端到端预测误差（EFE）评估指标，该指标通过轨迹匹配与位移测量相结合的方式，有效处理了真实场景中地面真值身份缺失、智能体漏检或过检等问题，避免了传统位移误差指标的局限性。这一设计使得JRDB-Traj能够全面衡量模型在复杂人群环境中的综合预测能力。

使用方法

使用JRDB-Traj数据集时，研究者需以机器人的原始感官输入（即图像与点云数据）为基础，预测场景中所有智能体相对于机器人的未来位置。数据集支持从非完美跟踪模块的输出中提取历史轨迹估计，作为预测模型的输入，从而模拟实际系统的级联误差。评估过程采用EFE、OSPA-2和IDF1等多重指标，其中EFE为核心指标，它通过优化匹配策略计算预测轨迹与地面真值之间的平均距离，并纳入轨迹数量差异的惩罚项。研究者可通过公开的基准工具包提交模型结果，进行标准化性能比较与迭代优化，推动自主导航系统在真实场景中的实用化进展。

背景与挑战

背景概述

在自主导航领域，预测行人未来轨迹是保障人机安全交互的核心挑战。JRDB-Traj数据集于2023年由EPFL与莫纳什大学联合推出，作为JRDB数据集在轨迹预测方向的延伸。该数据集聚焦于从机器人第一视角出发，整合原始传感器数据（包括图像与点云），旨在推动端到端轨迹预测模型的发展。其核心研究问题在于解决传统模块化系统中因检测、跟踪等前置环节不完美而导致的预测性能下降，从而弥合理论模型与实际应用之间的鸿沟，为社交机器人、自动驾驶等领域的导航决策提供更贴近现实的评估基准。

当前挑战

JRDB-Traj数据集所应对的领域挑战在于复杂人群环境中的多智能体轨迹预测，尤其在真实场景中，由于遮挡、交互行为多变等因素，准确预测每个行人的未来路径极为困难。构建过程中的挑战则体现在数据标注与评估体系的建立上：一方面，需从机器人视角的3D边界框中提取精确的轨迹中心点，并确保室内外场景、机器人运动状态的平衡分布；另一方面，由于缺乏真实身份标签，传统位移误差指标无法直接适用，因此必须设计如端到端预测误差（EFE）等新型评估指标，以处理轨迹匹配、漏检与误检等实际问题，从而客观衡量模型在非理想前置模块影响下的性能。

常用场景

经典使用场景

在自主导航与机器人技术领域，轨迹预测是确保系统安全交互的核心任务。JRDB-Traj数据集以其从机器人视角采集的多模态感官数据，为研究者提供了一个模拟真实动态人群环境的实验平台。该数据集最经典的使用场景在于评估端到端轨迹预测模型在非理想前置模块（如检测与跟踪）影响下的性能，通过整合RGB图像与三维点云信息，模型能够基于原始输入直接预测场景中所有智能体相对于机器人的未来位置，从而推动模型在复杂实际环境中的鲁棒性研究。

衍生相关工作

JRDB-Traj作为JRDB数据集系列的延伸，其构建理念与评估方法已启发并支撑了多项相关研究。例如，基于该数据集基准，研究者可对经典Social-LSTM等轨迹预测模型在端到端设定下进行重新评估与改进。同时，其提出的EFE评估指标为后续工作（如多目标跟踪与预测的联合优化）提供了新的性能衡量范式。数据集本身也促进了检测（如PiFeNet）、跟踪（如Simpletrack）与预测模块协同工作的研究，推动学术界开发更一体化、鲁棒性更强的自主导航解决方案。

数据集最近研究

最新研究方向

在自主导航领域，轨迹预测作为保障人机安全交互的核心技术，正面临从孤立模型评估向端到端系统集成的重要转型。JRDB-Traj数据集的推出，恰好响应了这一前沿需求，它通过提供机器人视角下的多模态感知数据（包括RGB图像与3D点云），推动研究聚焦于非理想前置模块（如检测与跟踪）影响下的轨迹预测性能。该数据集引入的端到端预测误差（EFE）等新型评估指标，巧妙解决了真实场景中身份信息缺失与轨迹匹配难题，为模型在复杂人群环境中的鲁棒性评估设立了新基准。当前研究热点集中于利用该数据集开发能够融合多传感器输入、适应动态环境且具备强泛化能力的预测架构，旨在缩小理论模型与实用化自动驾驶系统之间的差距，对促进社会感知机器人及智能交通系统的发展具有深远意义。

相关研究论文

• JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds

  洛桑联邦理工学院, 莫纳什大学 · 2023年