rally3d

rally3d是一个从普通广播视频中提取的3D乒乓球数据集，通过端到端系统将完整比赛镜头转换为同步的、度量的3D训练数据，包括球轨迹、玩家身体姿态和表格/相机几何，规模达到数据集级别。Rally3D is a 3D table tennis dataset extracted from conventional broadcast videos. It converts full match footage into synchronized, metric 3D training data via an end-to-end system, covering ball trajectories, player body poses, table and camera geometry, and has a dataset-level scale.

原始信息汇总

数据集概述：rally3d

核心功能：一个端到端的系统，能将普通的单目摄像机拍摄的全场乒乓球比赛视频，转化为同步的、公制3D训练数据，包括球轨迹、运动员身体姿态以及球台/摄像机几何。

数据输出

对于重建的每一次回合（rally），系统会生成以下文件：

输出文件	内容描述
camera.yaml	校准后的单目摄像机参数（位姿 + 焦距），以球台平面为世界原点
ball_traj_2D.csv	每帧的2D球检测结果，包含运动模糊线索（Interp标志表示插值帧）
ball_traj_3D.csv	公制3D球轨迹，包含弹跳点（Interp标志表示通过射线填充的帧）
p0_3d.npy, p1_3d.npy	两位运动员的3D关节点坐标 (帧数, 17个关节点, 3个坐标轴)，世界坐标系，单位为米
table.json, meta.json	球台几何常数、数据来源及质量指标

数据处理流程

系统通过以下流水线将原始广播视频转化为数据集：

1. 视频获取：通过预算机制从WTT/ITTF广播源批量下载比赛视频，确保每位运动员的数据量均衡。
2. 回合分割：通过单遍关键帧时间线，根据球台是否在画面中分类比赛片段。一个广角镜头过滤器会拒绝特写回放，连续的比赛关键帧合并为回合片段。
3. 球台/摄像机标定：利用已知几何尺寸（2.74米 × 1.525米）的球台，结合分割检测到的角点来校准摄像机。系统通过物理消歧方法，选择能将两位运动员置于球台两端的正确摄像机位姿。
4. 人体姿态估计：使用RTMPose进行2D姿态估计，结合IoU跟踪和运动员选择。再通过MotionBERT将2D姿态提升为3D，最后通过最小化脚部接触帧的重投影误差，对齐到世界坐标系。
5. 球体检测与重建：采用BlurBall算法进行模糊感知的球体检测。通过二次插值桥接短的2D丢失帧，基于物理原理进行3D重建。后续经过重投影门控、物理速度限制、射线深度填充内部间隙以及抛物线保留的Savitzky–Golay平滑处理。
6. 数据聚合：整个流程可中断且按质量门控，最终生成数据集清单文件（manifest.parquet + dataset_card.json）。所有合成数据点均通过Interp标志标记，区分测量值与推断值。

数据规模与来源

• 数据来源：WTT（世界乒乓球职业大联盟）/ ITTF（国际乒联）的广播视频。
• 规模控制策略：采用每位运动员5小时的默认预算，确保数据集小而多样。

数据集特性

• 高保真轨迹：对高速飞行的乒乓球进行了模糊感知检测和基于物理的3D重建。
• 数据透明性：所有通过算法插值或填充的合成数据点都有明确的标记，确保数据使用的诚实性。
• 端到端自动化：从视频下载、回合分割、数据重建到最后的聚合，实现了全流程自动化，且支持断点续传。

使用许可与致谢

• 版权声明：下载的视频仅作为研究输入，不会重新分发。仅代码和导出的数值标注在此仓库中。
• 致谢与基础工作：本项目受TT3D启发，并使用了TT3D（球台分割、校准、球物理求解器）、BlurBall（球检测）、MotionBERT（2D到3D姿态提升）和RTMPose（2D姿态估计）等开源组件。

搜集汇总

数据集介绍

构建方式

rally3d数据集从WTT/ITTF赛事广播视频中端到端地获取3D训练数据。首先，通过yt-dlp批量下载单打比赛视频，并引入每名球员的镜头时长预算（默认5小时），以确保数据集的多样性和紧凑性。随后，采用基于桌面存在性关键帧时间线的单次通断分类法，结合宽镜头过滤器（依据遮罩尺寸、边界接触和宽度跨度）剔除特写重放镜头，将连续的游戏关键帧合并为回合片段。在每回合重建中，利用已知桌面几何尺寸（2.74×1.525米）从分割检测的角点校准相机，并通过物理消歧策略解决90度角点对应歧义。人体姿态部分采用RTMPose进行2D姿态估计，结合IoU追踪和球员选择，再由MotionBERT将2D提升至3D，最终在足部接触帧通过最小化重投影误差与世界坐标系对齐。球体轨迹的检测依赖专为高速对打设计的模糊感知检测器BlurBall，包括低阈值和宽追踪门控，接着对2D短时缺失段进行二次插值桥接，物理3D重建后通过重投影门控、速度上限、射线深度填充及Savitzky–Golay平滑等精炼链优化。所有合成数据点均以标记标明，严格区分测量与推断。整个流程支持断点续传，每个回合会生成包含相机参数、2D/3D球轨迹、球员3D关节、桌面几何及元数据等文件，并通过质量门控和清单聚合形成数据集。

特点

rally3d数据集的核心特色在于其端到端的全自动管道，能够从单一普通摄像头视角的广播视频中，规模化地生产出度量级3D训练数据，涵盖球轨迹、球员姿态及桌面相机几何。数据集的输出维度丰富，每一回合均输出校准后的单目相机参数（以桌面为世界原点）、包含运动模糊提示的逐帧2D球检测及度量级3D球轨迹（含弹跳标记）、两名球员的17个关节在全局坐标系下的3D位置，以及桌面几何常数和溯源质量指标。这一全面而细致的输出设计，使得数据集适用于多种体育视觉分析任务。在数据处理上，rally3d展现了高度的严谨性：所有通过插值或推断得到的数据点均被明确标记为Interp，确保真实测量与计算推测之间的边界清晰可辨。此外，数据处理具有可恢复性，每回合的质量通过门控机制进行筛选，整个语料库通过manifest.parquet和dataset_card.json进行聚合与索引。构建过程中引入的球员镜头预算策略，有效控制了数据集的规模与多样性平衡，避免了单一球员数据的过度集中。这些特性共同赋予了rally3d在体育3D重建领域既实用又可靠的数据基础。

使用方法

使用rally3d数据集时，用户首先需根据提供的设置指南进行环境配置，包括创建Python 3.12虚拟环境、安装CUDA PyTorch及依赖项，并运行脚本下载桌面分割、BlurBall和MotionBERT等预训练权重。数据生成可通过一条命令自动化完成端到端流程（下载、分割、重建、聚合），也支持按阶段逐步执行：依次运行下载视频、回合分割、批量重建和数据集聚合脚本。每回合重建完成后，用户可通过单独的可视化脚本查看2D叠加投影（含桌面）、3D场景动画及汇总图，便于直观校验重建质量。值得特别注意的是，下载的比赛视频受版权保护，仅作为私有研究输入，不会重新分发，本仓库仅包含代码和派生数值注释。使用时，需依据引用规范标注TT3D等基础组件的学术贡献。rally3d的设计使得研究者能够灵活地从原始广播视频直接获取标准化的3D数据，极大地降低了体育分析中数据采集的门槛，同时保持了数据出处清晰与质量可控。

背景与挑战

背景概述

rally3d 数据集诞生于2025年，由受 TT3D 研究启发的团队构建，旨在从常规单目广播视频中端到端地提取乒乓球比赛的度量三维训练数据。核心研究问题围绕如何从单一摄像头视角，以数据集规模同步重建球轨迹、球员姿态及球台与相机几何结构。该数据集通过自动化流水线处理世界乒乓球锦标赛（WTT）和国际乒联（ITTF）的公开转播，突破了以往依赖多视角或专业设备采集运动数据的瓶颈，为体育视频分析与计算机视觉领域提供了一种低成本、高扩展性的新范式，有望推动动作捕捉、三维重建及竞技体育智能化分析的进一步发展。

当前挑战

数据集面临多重挑战。首先，在领域问题层面，单目视频中高速小球（乒乓球）的精确三维轨迹恢复是一个长期难题，涉及运动模糊、遮挡及快速方向变化，而球员姿态的准确估计还需处理复杂着装与快速挥拍动作。其次，构建过程中遭遇的挑战包括：从转播视频自动分割有效回合时，需设计鲁棒的关键帧分类与视角过滤器以排除慢速回放等干扰；利用已知球台几何进行单目标定存在90度方向歧义，必须通过物理规则消歧；同时，需要整合球检测、姿态估计与三维重建等多个模块，并设计可恢复、质量可控的数据管线，确保合成数据的可靠标记与自动过滤低质样本。

常用场景

经典使用场景

在体育视频分析与三维重建领域，rally3d数据集为从单目广播视频中提取乒乓球比赛的高保真三维运动数据提供了标准化基准。其经典使用场景聚焦于将原始赛事录像转化为包含球体三维轨迹、运动员全身关节点位以及球台与相机几何参数的完整时空数据，尤其适用于端到端的动作捕捉与球体物理仿真分析。研究者可基于此数据集系统性地研究高速运动物体的检测与跟踪、人体姿态在非约束环境下的三维重建，以及多模态数据的时空对齐与插值填补问题。

衍生相关工作

该数据集衍生了一系列在三维运动感知方向具有代表性的工作，直接促进了体育视觉分析领域的范式演进。其核心算法组件如基于模糊感知的球体检测器BlurBall已被后续研究引为高速小球检测的基线方法；而源于该系统的端到端流水线设计思想，启发了其他球类项目（如羽毛球、网球）从单目视频进行三维重建的尝试。此外，数据集提供的对齐后的身体与球体轨迹，催生了关于运动员与物休交互建模的探索，例如预测击球意图与球体落点之间的时空耦合关系。整体而言，rally3d不仅作为数据资产被直接使用，其技术路线中融合的物理感知插值与几何校准策略，也已成为处理非受控环境下高速运动分析的重要参照。

数据集最近研究

最新研究方向

在体育竞技视频分析的前沿领域，rally3d数据集开创性地将单目广播视频转化为可量化的三维乒乓球训练数据，囊括球轨迹、运动员姿态与场地几何参数。该研究紧密围绕端到端三维重建这一热点方向，通过创新的物理去模糊检测（BlurBall）、二次桥接插值与抛物线保形平滑等技术，实现了高速动态场景下厘米级精度的球路追踪与人体骨架时空对齐。其系统性贡献在于为球类运动智能分析提供了低成本、高密度的标注基准，尤其解决了遮挡、运动模糊与单视角歧义性三大核心挑战，显著推动了从比赛录像到技战术量化评估的自动化进程，对体育科学中的动作识别、战术建模及辅助训练具有里程碑式的影响。