AD-Rallies

AD-Trajectories数据集是为奥格斯堡大学机器学习与计算机视觉领域的硕士论文《从广播到3D：一种用于网球轨迹和旋转估计的深度学习方法》而创建的大规模合成数据集。该数据集使用MuJoCo物理引擎生成，旨在通过提供高度精确的空气动力学力和复杂的球-场地交互模型，弥合合成数据与现实数据之间的差距。数据集包含单个合成网球轨迹，所有物理运动学（包括3D位置、线性速度和角速度（旋转））均以每秒500帧（fps）的高分辨率捕获，对应时间步长为0.002秒。数据集以.tar文件形式存储，包含187,200个独立文件夹，打包后大小为17 GB，解压后约为20 GB。数据采用四层嵌套文件夹结构，按击球类型、飞行方向、球的状态（界内/界外）和轨迹ID分类。每个轨迹文件夹包含七个.npy文件，分别存储位置、速度、旋转、时间戳、弹跳时间戳、内参相机矩阵和外参相机矩阵。该数据集适用于表格分类、表格回归、图像到3D和深度估计等任务，特别适合用于网球轨迹和旋转估计的研究。

The AD-Trajectories dataset was created for the masters thesis From Broadcast to 3D: A Deep Learning Approach for Tennis Trajectory and Spin Estimation at the University of Augsburg in the field of Machine Learning and Computer Vision. It is a large-scale synthetic dataset generated using the MuJoCo physics engine, aiming to bridge the gap between synthetic and real-world data by providing highly accurate aerodynamic forces (such as the Magnus effect) and complex ball-court interaction models. The dataset contains individual synthetic tennis trajectories, with all physical kinematics (including 3D position, linear velocity, and angular velocity (spin)) captured at a high resolution of 500 frames per second (fps), corresponding to a time step of 0.002 seconds. The dataset is stored in .tar files, containing 187,200 independent folders, with a packed size of 17 GB and an unpacked size of approximately 20 GB. The data is organized in a four-level nested folder structure, categorized by shot type, flight direction, ball status (in/out), and trajectory ID. Each trajectory folder contains seven .npy files, storing position, velocity, rotation, timestamps, bounce timestamps, intrinsic camera matrices, and extrinsic camera matrices. The dataset is suitable for tasks such as tabular classification, tabular regression, image-to-3D, and depth estimation, and is particularly suited for research on tennis trajectory and spin estimation.

原始信息汇总

数据集名称

AD-Rallies 数据集（也称为 AD Trajectories）

数据集规模

• 样本量：100,000 < n < 1,000,000
• 压缩包（.tar）大小：17 GB
• 解压后大小：约 20 GB
• 包含 187,200 个独立的轨迹文件夹

数据集任务类型

• 表格分类（tabular-classification）
• 表格回归（tabular-regression）
• 图像到3D（image-to-3d）
• 深度估计（depth-estimation）

数据集描述

AD-Rallies 是一个大规模合成网球轨迹数据集，使用 MuJoCo 物理引擎生成。旨在通过提供高精度的空气动力学模型（如马格努斯效应）和复杂的球-场地交互，弥合合成数据与真实数据之间的差距。该数据集用于 Alexandra Göppert 在奥格斯堡大学机器学习和计算机视觉教席的硕士论文《From Broadcast to 3D: A Deep Learning Approach for Tennis Trajectory and Spin Estimation》。

数据内容

每条轨迹以 500 fps（时间步长 0.002 秒）的高分辨率记录了完整的物理运动学数据，包括：

• 3D 位置（positions.npy）
• 线速度（velocities.npy）
• 角速度/旋转（rotations.npy）
• 时间戳（times.npy）
• 弹跳时间戳（bounces.npy）
• 相机内参矩阵（Mint.npy）
• 相机外参矩阵（Mext.npy）

文件夹结构

数据集不使用单独的元数据文件，而是将标签直接编码到文件夹路径中，采用四层嵌套结构：

• 第一层：基础击球类型：groundstroke（地面击球）、lob（高吊球）、serve（发球）、short（短球）、smash（扣杀）、toss（抛球）、volley（截击）
• 第二层：飞行方向：close_to_far（从近到远，球沿负 x 轴飞行）、far_to_close（从远到近，球沿正 x 轴飞行）
• 第三层：状态：in（界内）、out（界外）
• 第四层：轨迹 ID：trajectory_0000, trajectory_0001, ...

示例路径：groundstroke/close_to_far/in/trajectory_0000/

坐标系统

• 3D 世界坐标系：位置和速度相对于世界坐标系定义。
• 球的本地坐标系：旋转（角速度）相对于球的本地坐标系定义。
• 相机位置：始终位于正 x 轴的底线后方。

2D 图像投影

数据集不包含预计算的 2D 图像投影（u,v），但提供了每一条轨迹的相机内参矩阵（Mint）和相机外参矩阵（Mext），用户可以通过将 3D 世界坐标与提供的相机矩阵相乘来计算 2D 投影。

下载方式

推荐使用 hf_hub_download 函数从 Hugging Face Hub 下载 data.tar 文件，而不是克隆整个仓库。

• 仓库 ID：XSpaceCoderX/AD-Rallies
• 文件名：data.tar

解压时至少需要 180 GB 的可用磁盘空间（87 GB 用于归档文件 + 100 GB 用于解压内容）。

搜集汇总

数据集介绍

构建方式

AD-Rallies数据集是为慕尼黑大学机器学习与计算机视觉教席的硕士论文研究而构建的大规模合成网球轨迹数据集。该数据集基于MuJoCo物理引擎生成，旨在弥合合成数据与真实数据之间的鸿沟。通过精确建模空气动力学效应如马格努斯力以及复杂的球-场地相互作用，生成了187,200条独立的合成网球轨迹。每条轨迹的物理运动学信息，包括三维位置、线速度和角速度，均以高达500帧每秒的时间分辨率捕获，对应0.002秒的时间步长。

特点

该数据集的核心特色在于其精细的元数据编码机制与全面的轨迹信息。与传统数据集不同，AD-Rallies将诸如击球类型、飞行方向、落点界内与否等元数据直接编码进文件夹路径中，形成四层嵌套结构，极大简化了数据索引与筛选。此外，每条轨迹文件夹内包含七个.npy文件，分别存储三维位置、线速度、角速度、时间戳、弹跳时刻以及相机内外参数矩阵，为用户提供了从三维空间到二维图像投影的完整计算基础。

使用方法

用户可通过Hugging Face Hub的`hf_hub_download`函数高效下载数据集压缩包，无需克隆整个仓库。下载后，利用Python内置的`tarfile`模块解压即可。解压后，数据集以四层文件夹结构组织，用户可根据击球类型、飞行方向和落点状态快速导航至所需轨迹文件夹，并直接加载其中的.npy文件进行分析。由于数据集提供了完整的相机内外参数，用户可自行计算三维轨迹在二维图像上的投影坐标，赋予研究高度灵活性。

背景与挑战

背景概述

AD-Rallies数据集由德国奥格斯堡大学机器学习与计算机视觉讲席的Alexandra Göppert在其硕士论文工作中创建，旨在解决从广播视频到三维空间中对网球轨迹与旋转进行精确估计的难题。该数据集于2024年发布，依托MuJoCo物理引擎生成大规模合成轨迹数据，通过高保真模拟马格努斯效应等空气动力学力及球-场地复杂交互，巧妙地弥合了合成数据与现实世界之间的鸿沟。数据集以500帧/秒的超高采样率记录了187,200条独立轨迹的三维位置、线速度与角速度，并配套提供相机内参和外参矩阵，为研究者提供了开发与验证深度学习方法的有力工具，推动了体育分析、三维重建与动态场景理解等领域的交叉发展。

当前挑战

AD-Rallies数据集所解决的核心领域挑战在于，从单目或少数摄像机视角下精确重建高速运动网球的三维轨迹与旋转参数，这要求模型克服运动模糊、遮挡与环境光照变化等不利因素，并具备从二维图像投影到三维物理空间的泛化能力。在构建过程中，研究者需应对合成数据与现实世界之间的域适应难题，确保物理模拟的动力学特性（如马格努斯效应）与真实比赛场景高度一致；同时，需精心设计187,200个轨迹文件夹的层级结构，将击球类型、飞行方向及落点状态（界内/界外）编码于路径中，以支持高效检索与多任务学习，避免传统JSON或CSV元数据带来的冗余与存取瓶颈。

常用场景

经典使用场景

AD-Rallies数据集专为网球轨迹与自旋估计的深度学习研究而构建，其经典应用场景包括从单一或双目摄像机视角下的二维图像序列中，精确重建三维网球飞行轨迹、实时预测线性速度与角速度（自旋），以及基于物理模拟的高保真数据实现合成到真实的域迁移训练。该数据集以超高时间分辨率（500 fps）捕捉了超过18万条独立轨迹，覆盖7种击球类型、双向飞行方向和界内/界外状态，为时空序列建模和多模态物理推理提供了理想的基准平台。

实际应用

在实际应用层面，AD-Rallies赋能了智能体育转播系统的升级，支持自动化精彩回放生成、实时战术分析与运动员表现评估。例如，利用该数据集训练的模型可从电视转播信号中提取网球三维轨迹和自旋信息，辅助裁判做出更精准的界内/界外判定。此外，在虚拟现实体育训练和电子竞技领域，该数据集的物理精确性使得沉浸式模拟器能够还原真实击球动态，提升运动员的战术决策模拟训练效果。

衍生相关工作

基于AD-Rallies数据集，衍生出一系列开创性工作，包括跨域自监督学习框架、时序卷积与图神经网络的轨迹预测模型，以及结合物理先验的神经辐射场（NeRF）动态场景重建方法。此外，该数据集促进了可解释性体育AI的发展，如基于注意力机制的关键帧提取和自旋动力学可视化分析。这些工作不仅推进了计算机视觉在体育领域的应用边界，也为更广义的非刚体运动预测和物理交互场景理解提供了方法论基础。