SiT Dataset

我们的社交互动轨迹（SiT）数据集是一个独特的行人轨迹集合，用于设计高级社交导航机器人。它包括一系列传感器数据、注释，并提供了一个机器人导航拥挤环境的独特视角，捕捉动态的人机交互。它被精心组织用于训练和评估跨越3D检测、3D多目标跟踪和轨迹预测等任务的模型，提供了一个端到端的模块化方法。它包括一个全面的基准，并展示了几个基线模型的性能。这个数据集是未来行人轨迹预测研究的一个宝贵资源，支持安全和敏捷的社交导航机器人的开发。

Our Social Interaction Trajectories (SiT) dataset is a unique collection of pedestrian trajectories designed for advanced social navigation robots. It includes a series of sensor data and annotations, providing a unique perspective on robot navigation in crowded environments, capturing dynamic human-robot interactions. It is meticulously organized for training and evaluating models across tasks such as 3D detection, 3D multi-object tracking, and trajectory prediction, offering an end-to-end modular approach. The dataset includes a comprehensive benchmark and demonstrates the performance of several baseline models. This dataset serves as a valuable resource for future research in pedestrian trajectory prediction, supporting the development of safe and agile social navigation robots.

原始信息汇总

SiT Dataset Overview

Dataset Description

The SiT (Socially Interactive Pedestrian Trajectory) dataset is designed for the development of advanced social navigation robots. It features a collection of pedestrian trajectories along with sensor data and annotations, providing insights from a robot navigating crowded environments. The dataset supports tasks such as 3D detection, 3D multi-object tracking, and trajectory prediction, and includes a comprehensive benchmark with baseline models.

Robot Platform & Sensor Setup

• Operating System: Ubuntu 18.04 LTS
• Robot: Clearpath Husky UGV
• Sensors:
  • Velodyne VLP-16 * 2
  • RGB Camera Basler a2A1920-51gc PRO GigE * 5
  • MTi-680G IMU & GPS * 1
  • VectorNAV VN-100 IMU * 1

Ground Truth

• 2D: Includes class name, track ID, camera number, top left X and Y coordinates, width, and height.
• 3D: Includes class name, track ID, height, length, width, X, Y, Z coordinates, and rotation.

Benchmarks

3D Object Detection

Method	Modality	mAP	AP(0.25)	AP(0.5)	AP(1.0)	AP(2.0)	Trained
FCOS3D	Camera	0.131	0.054	0.147	0.162	0.162	TBD
PointPillars	LiDAR	0.319	0.202	0.316	0.346	0.414	TBD
CenterPoint-P	LiDAR	0.382	0.233	0.388	0.424	0.482	TBD
CenterPoint-V	LiDAR	0.514	0.352	0.522	0.556	0.620	TBD
Transfusion-P	Fusion	0.396	0.213	0.371	0.451	0.551	TBD
Transfusion-V	Fusion	0.533	0.360	0.512	0.587	0.672	TBD

3D Multi-Object Trajectory Tracking

Method	sAMOTA	AMOTA	AMOTP(m)	MOTA	MOTP(m)	IDS
PointPillars + AB3DMOT	0.3679	0.0826	0.5125	0.2073	0.9702	1048
Centerpoint Detector + AB3DMOT	0.4626	0.1159	0.3757	0.3438	0.8360	554
Centerpoint Tracker	0.7244	0.2793	0.2611	0.5150	0.4274	1136

Pedestrian Trajectory Prediction

Method	Map	ADE<sub>5</sub>	FDE<sub>5</sub>	ADE<sub>20</sub>	FDE<sub>20</sub>	Trained
Social-LSTM	X	1.336	2.554	1.319	2.519	TBD
Y-NET	X	1.188	2.427	0.640	1.547	TBD
Y-NET	O	1.036	2.306	0.596	1.370	TBD
NSP-SFM	X	1.036	1.947	0.529	0.936	TBD
NSP-SFM	O	0.808	1.549	0.443	0.807	TBD

End-to-End Pedestrian Motion Forecasting

Method	mAP	mAP<sub>f</sub>	ADE<sub>5</sub>	FDE<sub>5</sub>	Trained
Fast and Furious	0.490	0.079	1.915	3.273	TBD
FutureDet-P	0.209	0.037	2.532	4.537	TBD
FutureDet-V	0.408	0.053	2.416	4.409	TBD

Download Dataset

• SiT Mini dataset: Download link
• Full dataset and Rosbag files: To be determined (TBD).

ROS Bag Raw Data

Detailed information about the sensor data included in the ROS bagfiles is provided in the dataset documentation.

License

The SiT dataset is published under the CC BY-NC-ND License 4.0, and all codes are published under the Apache License 2.0.

搜集汇总

数据集介绍

构建方式

SiT数据集通过机器人平台在拥挤环境中收集行人轨迹数据，结合多种传感器如Velodyne VLP-16激光雷达、Basler RGB相机和IMU/GPS设备，捕捉动态的人机交互场景。数据采集过程中，机器人平台搭载了Ubuntu 18.04 LTS操作系统和ROS Melodic框架，确保了数据的实时性和准确性。数据集还提供了2D和3D的标注数据，包括类别名称、轨迹ID、坐标信息等，为后续的模型训练和评估提供了坚实的基础。

特点

SiT数据集以其丰富的多模态数据和精细的标注著称，涵盖了3D检测、多目标跟踪和轨迹预测等多个任务。数据集不仅包含了行人的轨迹信息，还提供了机器人视角下的环境感知数据，能够有效支持复杂场景下的社会导航研究。此外，数据集还提供了多个基准模型的性能评估结果，为研究者提供了可靠的参考。其独特的社会交互场景数据，使得该数据集在行人轨迹预测领域具有重要的研究价值。

使用方法

SiT数据集的使用方法涵盖了从数据下载到模型训练的全流程。用户可以通过Google Form链接下载完整数据集，并利用提供的基准模型进行3D检测、多目标跟踪和轨迹预测等任务的训练与评估。数据集支持多种深度学习框架，如PyTorch，并提供了详细的代码和权重文件，便于用户快速上手。此外，数据集还提供了ROS bag文件，方便用户在仿真环境中进行进一步的研究与开发。

背景与挑战

背景概述

SiT数据集（Socially Interactive Pedestrian Trajectory Dataset）由韩国汉阳大学的SPA实验室于2023年发布，旨在为社交导航机器人提供高质量的轨迹数据支持。该数据集通过机器人平台在拥挤环境中采集行人的动态轨迹，涵盖了丰富的传感器数据与标注信息，包括3D检测、多目标跟踪和轨迹预测等任务。SiT数据集的发布为社交导航机器人的研究提供了重要的数据基础，推动了该领域在安全性和敏捷性方面的技术进步。其核心研究问题在于如何通过机器人视角捕捉复杂环境中的人机交互行为，并为相关算法提供可靠的训练与评估基准。

当前挑战

SiT数据集在解决社交导航机器人领域中的轨迹预测问题时，面临多重挑战。首先，复杂环境中的行人行为具有高度不确定性，如何准确捕捉并预测其轨迹成为一大难题。其次，数据集构建过程中，传感器数据的同步与校准、多模态数据的融合以及高质量标注的生成均需克服技术瓶颈。此外，如何在动态环境中保持数据的连续性与一致性，也是构建过程中不可忽视的挑战。这些问题的解决不仅需要先进的硬件支持，还需依赖高效的算法设计与数据处理流程。

常用场景

经典使用场景

SiT数据集在社交导航机器人领域具有广泛的应用，尤其是在行人轨迹预测和动态环境下的机器人导航任务中。该数据集通过捕捉复杂的人机交互场景，提供了丰富的传感器数据和标注信息，使得研究人员能够训练和评估3D检测、多目标跟踪以及轨迹预测等模型。其独特的视角和数据组织方式，使其成为开发安全、敏捷社交导航机器人的重要资源。

解决学术问题

SiT数据集解决了社交导航机器人领域中的多个关键学术问题，特别是在行人轨迹预测和动态环境感知方面。通过提供高质量的传感器数据和详细的标注信息，该数据集帮助研究人员克服了传统方法在复杂场景下的局限性，提升了模型的准确性和鲁棒性。此外，SiT数据集还为多模态数据融合和端到端运动预测提供了新的研究思路，推动了该领域的进一步发展。

衍生相关工作

SiT数据集的发布催生了一系列经典研究工作，特别是在3D目标检测和多目标跟踪领域。例如，基于该数据集的FCOS3D和BEVDepth模型在3D检测任务中取得了显著进展。此外，Social-LSTM和Y-NET等模型在行人轨迹预测任务中表现出色，进一步验证了该数据集在推动相关算法研究中的重要作用。这些工作不仅提升了模型的性能，还为未来的研究提供了宝贵的基准和参考。