vfx-datasets

这是一个包含多个数据集和其他资源列表的仓库，这些资源对视觉特效(VFX)领域的机器学习应用可能有用。

This repository contains a list of multiple datasets and other resources that may be useful for machine learning applications in the field of visual effects (VFX).

原始信息汇总

数据集概述

2D/Compositing

• Alpha Matting dataset
• Common Objects in Context (COCO)
• Video Matting dataset
• Deep Automatic Portrait Mapping dataset
• PortraitFCN
• MSRA10K Salient Object Database
• MPI Sintel Optical Flow Dataset
• Flying Chairs Optical Flow Dataset
• RENOIR - A Dataset for Real Low-Light Image Noise Reduction
• Darmstadt Noise Dataset
• GOPRO deblur dataset
• Kohler deblur dataset
• HDR image reconstruction from a single exposure using deep CNNs testset
• NYU Depth Dataset
• Make3D
• Berkeley Segmentation Dataset (BSDS500)
• ADE20K segmentation dataset
• Middlebury Optical Flow
• Middlebury Depth
• Learning To See In The Dark
• ISTD Shadow Removal
• SRD Shadow Removal
• Open Images
• Falling Things

Crowd Simulation

• CUHK Crowd Dataset

Hair / Fur

• USC-HairSalon

Modeling

Models

• ShapeNet
• ModelNet
• Shape Retrival Contest (SHREC) Datasets
• Large Geometric Models Archive
• The CAnonically Posed 3D Objects Dataset
• MIT CSAIL Textured Models Database
• Stanford 3D Scanning Repository
• Redwood - A Large Dataset of Object Scans

Nonrigid alignment

• FAUST
• TOSCA high-resolution and Non-rigid world

Pose estimation

• PASCAL3D+

People

• CAESAR

Miscellaneous

• Robust Global Translations with 1DSfM
• CMP Facade database
• SUN360 panorama database
• Image Aesthetic Visual Analysis (AVA)
• CUHKPQ Photo quality dataset

Motion Capture

Body

• CMU Graphics Lab Motion Capture Database
• MoCap Hand Postures Data Set
• SCAPE: Shape Completion and Animation of People
• ACCAD Motion Capture Lab Library
• mocapdata.com
• The Motion Capture Club Library
• Body Movement Library
• KU Leuven Action Database
• Emotional Body Motion Database
• Multiple Human Pose Estimation dataset
• The Kinetics Human Action Video Dataset
• UBC3V
• Human3.6M
• MoSh Dataset
• JHMDB Dataset
• Penn Action Dataset
• Dense Pose

Eyes

• GazeCapture
• Columbia Gaze Data Set
• MPIIGaze Dataset
• High Quality Eye Capture Dataset
• SynthesEyes Dataset
• Kaggle Eye Gaze
• YouTube Faces Dataset with Facial Keypoints
• Swirski pupil dataset
• ExCuSe/ElSe pupil datasets
• Labeled pupils in the wild (LPW)
• Osnabruck gaze dataset
• Closed Eyes In The Wild (CEW)

Face

• FaceWarehouse
• NVIDIA Synthetic Head Dataset
• CASIA 3D Face Database
• University of York 3D Face Database
• Face Database of the Max Planck Institute for Biological Cybernetics
• The Bosphorus Database
• Spacetime Faces
• ETH Face Pose Range Image Data Set
• Biwi Kinect Head Pose Database
• BU-3DFE, BU-4DFE, and BP4D-Spontaneous
• Eurecom Kinect Face Dataset
• CMU Face Images Data Set
• Large Scale Facial Model
• TOSCA Human Face
• 300 Faces In-the-Wild Challenge (300-W)
• Dynamic 3D Facial Action Coding System (D3DFACS) Database
• Mut1ny

Scenes

• SceneNet
• SUNCG
• 3D Indoor Scenes Database
• ScanNet

Shading / Lighting

• MERL BRDF database
• UTIA BTF database
• Columbia-Utrecht Reflectance and Texture Database
• Weather and Illumination Database
• Fabrics Dataset
• MIT Intrinsic Images

Simulation

• John Hopkins Turbulence Databases

Volumetric

• The Volume Library

搜集汇总

数据集介绍

构建方式

vfx-datasets数据集的构建方式是通过系统性地收集和整理与视觉特效（VFX）相关的各类数据资源。这些资源涵盖了从2D合成、3D建模到动作捕捉等多个领域，旨在为机器学习在视觉特效中的应用提供丰富的数据支持。数据集的构建过程中，研究人员精心挑选了多个公开数据集，并确保其适用性和多样性，以满足不同应用场景的需求。

特点

vfx-datasets数据集的特点在于其广泛性和多样性。该数据集不仅包含了2D和3D的多种数据类型，如图像、视频、模型和光学流数据，还涵盖了从简单的物体识别到复杂的场景模拟等多个应用领域。此外，数据集中的资源具有不同的许可协议，部分数据可用于商业用途，这为研究者和开发者提供了极大的灵活性。

使用方法

vfx-datasets数据集的使用方法相对灵活，用户可以根据具体需求选择合适的数据资源。首先，用户需仔细阅读每个数据集的许可协议，确保其使用符合法律规定。随后，用户可以通过提供的链接下载所需数据，并根据具体的机器学习任务进行数据预处理和模型训练。数据集的多样性使得其适用于多种视觉特效相关的研究与开发工作。

背景与挑战

背景概述

vfx-datasets数据集是由vfx.ai于2017年12月创建，旨在为视觉特效（VFX）领域的机器学习应用提供丰富的资源。该数据集汇集了多个子领域的数据集，涵盖2D合成、人群模拟、毛发建模、人体动作捕捉等多个方面。主要研究人员和机构包括香港中文大学、斯坦福大学、麻省理工学院等知名学府，以及MPI、NVIDIA等工业界领先机构。其核心研究问题在于如何利用机器学习技术提升视觉特效的自动化和智能化水平，对VFX领域的技术进步具有重要推动作用。

当前挑战

vfx-datasets面临的挑战主要集中在数据多样性和质量控制上。首先，不同子领域的数据集在格式、分辨率和标注标准上存在显著差异，整合这些数据需要克服技术兼容性和标准化问题。其次，部分数据集涉及复杂的版权和使用限制，确保合法合规使用是另一大挑战。此外，数据集的更新和维护也是一个持续的挑战，需不断纳入新的研究成果和技术进展，以保持其在VFX领域的领先地位。

常用场景

经典使用场景

vfx-datasets数据集在视觉特效（VFX）领域的经典应用场景主要集中在图像处理和合成技术上。例如，Alpha Matting数据集用于图像抠图，Common Objects in Context (COCO)数据集用于物体识别和场景理解，而Video Matting数据集则专注于视频抠图技术。这些数据集为机器学习算法在VFX中的应用提供了丰富的训练和测试资源，极大地推动了相关技术的发展。

实际应用

vfx-datasets数据集在实际应用中广泛用于电影制作、游戏开发和虚拟现实等领域。例如，Alpha Matting数据集的应用使得电影中的特效合成更加自然，而Flying Chairs Optical Flow Dataset则为游戏中的物理引擎提供了精确的运动估计。这些数据集的应用不仅提升了视觉效果的质量，还显著降低了制作成本和时间。

衍生相关工作

vfx-datasets数据集衍生了许多经典的工作和研究。例如，基于Alpha Matting数据集的研究推动了图像抠图技术的快速发展，而基于Common Objects in Context (COCO)数据集的研究则在物体识别和场景理解方面取得了显著进展。此外，MPI Sintel Optical Flow Dataset的使用也催生了一系列关于光流估计的创新算法和方法。