HiFi4G, Neural 3D Video Synthesis, Panoptic Studio, Microsoft Voxelized Upper Bodies, 8i Voxelized Full Bodies

HiFi4G: 通过紧凑的高斯泼溅实现高保真人类表现渲染。Neural 3D Video Synthesis: 从多视角视频合成神经3D视频。Panoptic Studio: 一个用于社交互动捕捉的大规模多视角系统。Microsoft Voxelized Upper Bodies: 一个体素化的点云数据集。8i Voxelized Full Bodies: 一个体素化的点云数据集。

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting. Neural 3D Video Synthesis: Synthesizing Neural 3D Videos from Multi-View Videos. Panoptic Studio: A Large-Scale Multi-View System for Social Interaction Capture. Microsoft Voxelized Upper Bodies: A Voxelized Point Cloud Dataset. 8i Voxelized Full Bodies: A Voxelized Point Cloud Dataset.

原始信息汇总

Awesome-Volumetric-Video-Streaming 数据集概述

数据集简介

本数据集为关于体视频流传输的最新文献列表，涵盖主要会议和期刊发表的文章。数据集内容涉及移动计算领域，但也包括非移动平台的相关论文。

数据集内容

调研论文

• arXiv 2024: AI-Driven Innovations in Volumetric Video Streaming: A Review
• arXiv 2023: From Capture to Display: A Survey on Volumetric Video
• IEEE Network 2021: Point Cloud Video Streaming: Challenges and Solutions

数据集

• CVPR 2022: Neural 3D Video Synthesis from Multi-view Video
  • 项目链接: Neural 3D Video Synthesis
• IEEE TPAMI 2017: Panoptic Studio: A Massively Multiview System for Social Interaction Capture
  • 数据集链接: Panoptic Studio
• Microsoft Voxelized Upper Bodies
  • 数据集链接: Microsoft Voxelized Upper Bodies
• 8i Voxelized Full Bodies
  • 数据集链接: 8i Voxelized Full Bodies

点云基础流传输

• NSDI 2024: Habitus: Boosting Mobile Immersive Content Delivery through Full-body Pose Tracking and Multipath Networking
• VR 2023: CaV3: Cache-assisted Viewport Adaptive Volumetric Video Streaming
• MM 2023: Understanding User Behavior in Volumetric Video Watching: Dataset, Analysis and Prediction
• NSDI 2022: YuZu: Neural-Enhanced Volumetric Video Streaming
• IEEE TMM 2022: Optimal Volumetric Video Streaming With Hybrid Saliency Based Tiling
• ATSIP 2020: An overview of ongoing point cloud compression standardization activities: video-based (V-PCC) and geometry-based (G-PCC)

点云基础移动流传输

• IEEE TMC 2024: Bandwidth-Efficient Mobile Volumetric Video Streaming by Exploiting Inter-Frame Correlation
• MM 2023: Hermes: Leveraging Implicit Inter-Frame Correlation for Bandwidth-Efficient Mobile Volumetric Video Streaming
• MobiCom 2024: MuV2: Scaling up Multi-user Mobile Volumetric Video Streaming via Content Hybridization and Sharing
• MobiSys 2024: Theia: Gaze-driven and Perception-aware Volumetric Content Delivery for Mixed Reality Headsets
• MobiCom 2023: MetaStream: Live Volumetric Content Capture, Creation, Delivery, and Rendering in Real Time
• MobiCom 2022: Vues: practical mobile volumetric video streaming through multiview transcoding
• HotMobile 2021: Efficient Volumetric Video Streaming Through Super Resolution
• MobiCom 2020: GROOT: a real-time streaming system of high-fidelity volumetric videos
• MobiCom 2020: ViVo: visibility-aware mobile volumetric video streaming
• HotMobile 2019: Toward Practical Volumetric Video Streaming On Commodity Smartphones

体素基础移动流传输

• ACM MobiCom 2023: FarfetchFusion: Towards Fully Mobile Live 3D Telepresence Platform

网格基础移动流传输

• MobiCom 2024: An End-to-End, Low-Cost, and High-Fidelity 3D Video Pipeline for Mobile Devices
• SenSys 2024: MagicStream: Bandwidth-conserving Immersive Telepresence via Semantic Communication

NeRF/3DGS基础视频

• CVPR 2024: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
  • 项目链接: 4D Gaussian Splatting
• CVPR 2024: Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
• CVPR 2024: Compact 3D Gaussian Representation for Radiance Field
  • 项目链接: Compact 3D Gaussian Representation
• CVPR 2024: 3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos
  • 项目链接: 3DGStream
• 3DV 2024: Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis
  • 项目链接: Dynamic 3D Gaussians
• ICLR 2024: Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
• SIGGRAPH 2022: Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
  • 项目链接: Instant Neural Graphics Primitives
• ICCV 2021: Neural Radiance Flow for 4D View Synthesis and Video Processing

NeRF/3DGS基础(移动)流传输

• MM 2024: FSVFG: Towards Immersive Full-Scene Volumetric Video Streaming with Adaptive Feature Grid
• SIGGRAPH ASIA 2024: V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians
  • 项目链接: V^3
• MobiCom > ImmerCom 2023: Toward Next-generation Volumetric Video Streaming with Neural-based Content Representations
• SIGCOMM > EMS 2023: Mobile Volumetric Video Streaming System through Implicit Neural Representation

搜集汇总

数据集介绍

构建方式

Panoptic Studio: A Massively Multiview System for Social Interaction Capture，Microsoft Voxelized Upper Bodies，以及8i Voxelized Full Bodies数据集，均是通过捕捉多角度视图来构建的。Panoptic Studio利用大规模多视角系统捕捉社交互动，而Microsoft Voxelized Upper Bodies和8i Voxelized Full Bodies则是通过体素化的点云数据来表示人体上部和全身的三维结构。

特点

这些数据集的特点在于提供了丰富的三维视觉信息。Panoptic Studio具备极高的视角多样性，适合研究社交互动中的视觉感知问题。Microsoft Voxelized Upper Bodies和8i Voxelized Full Bodies以体素化的形式呈现，便于进行三维重建和动画制作，尤其适用于研究三维视频流的应用。

使用方法

用户可以根据具体需求，通过数据集中的API或多视角视频处理工具来访问和使用这些数据。例如，可以利用Panoptic Studio进行多视角视频分析，使用Microsoft Voxelized Upper Bodies和8i Voxelized Full Bodies进行三维模型的训练和测试。详细的操作指南和示例代码通常可在数据集的官方网站或相关论文中找到。

背景与挑战

背景概述

Panoptic Studio: A Massively Multiview System for Social Interaction Capture，Microsoft Voxelized Upper Bodies，以及8i Voxelized Full Bodies这三个数据集，均是在三维体积视频流研究领域具有重要影响力的资源。Panoptic Studio由卡内基梅隆大学的研究团队开发于2017年，旨在通过大规模多视角系统捕捉社会交互。该数据集利用多个摄像头从不同角度同步捕获场景，为社会科学、计算机视觉等领域提供了丰富的交互数据。Microsoft Voxelized Upper Bodies和8i Voxelized Full Bodies则分别为微软和8i公司创建的体素化点云数据集，它们提供了精细的三维人体模型，对三维体积视频流的研究与开发具有重要价值。

当前挑战

这些数据集在研究领域中带来了多项挑战。首先，在三维体积视频流的捕获与处理方面，如何精确捕捉动态场景的高质量三维数据，并在保持数据完整性的同时进行有效的压缩和传输，是一大难题。其次，在流式传输过程中，如何优化网络带宽利用，实现高效的数据传输，同时确保用户观看体验的流畅性和交互性，也是当前研究的热点。此外，数据集构建过程中涉及到的数据采集、标注以及隐私保护等问题，也对研究人员提出了更高的要求。

常用场景

经典使用场景

在多媒体处理与计算机视觉领域，Panoptic Studio、Microsoft Voxelized Upper Bodies及8i Voxelized Full Bodies数据集被广泛应用于三维体积视频的捕捉与渲染研究。这些数据集提供了多视角、体素化的点云数据，经典使用场景在于通过多视角视频捕捉社会交互，进而实现高质量的3D视频合成与自由视角视频渲染。

衍生相关工作

基于这些数据集，学术界衍生出了大量相关工作，如神经驱动的体积视频流创新、点云视频流传输 survey、以及基于神经辐射场和三维高斯特征的视频处理与流传输技术等，这些研究进一步拓宽了体积视频技术的应用范围，并推动了相关领域的科技进步。

数据集最近研究

最新研究方向

近期，关于Panoptic Studio、Microsoft Voxelized Upper Bodies以及8i Voxelized Full Bodies等数据集的研究主要集中在三维体积视频流的捕获、处理与传输领域。学者们通过这些数据集，探讨了从多视角视频到神经三维视频合成的转化，以及基于点云、体素和网格的移动流媒体传输技术。当前研究的前沿方向包括利用深度学习技术进行高效的体积视频流编码与解码、通过用户行为分析优化视频传输策略，以及结合多路径网络和显式或隐式的神经网络表征，实现带宽高效的视频流传输。这些研究不仅为虚拟现实和增强现实应用提供了高质量的视频内容，也为移动设备上的实时三维远程呈现提供了技术支持，具有重要的实际应用价值和社会影响。