vfx-datasets

这是一个包含多个数据集和其他资源的列表，这些资源可能对视觉特效（VFX）领域的机器学习应用有用。其中一些数据集可免费用于商业用途，而其他数据集则不可。在使用任何数据集之前，请务必阅读相关的许可协议。欢迎贡献、更正和整理。

This is a list comprising multiple datasets and other resources that may be beneficial for machine learning applications in the field of visual effects (VFX). Some of these datasets are available for free for commercial use, while others are not. It is imperative to read the relevant licensing agreements before utilizing any dataset. Contributions, corrections, and organization are warmly welcomed.

原始信息汇总

数据集概述

2D/Compositing

• Alpha Matting dataset
• Common Objects in Context (COCO)
• Video Matting dataset
• Deep Automatic Portrait Mapping dataset
• PortraitFCN
• MSRA10K Salient Object Database
• MPI Sintel Optical Flow Dataset
• Flying Chairs Optical Flow Dataset
• RENOIR - A Dataset for Real Low-Light Image Noise Reduction
• Darmstadt Noise Dataset
• GOPRO deblur dataset
• Kohler deblur dataset
• HDR image reconstruction from a single exposure using deep CNNs testset
• NYU Depth Dataset
• Make3D
• Berkeley Segmentation Dataset (BSDS500)
• ADE20K segmentation dataset
• Middlebury Optical Flow
• Learning To See In The Dark
• ISTD Shadow Removal
• SRD Shadow Removal
• Open Images

Crowd Simulation

• CUHK Crowd Dataset

Hair / Fur

• USC-HairSalon

Modeling

• ShapeNet
• ModelNet
• Shape Retrival Contest (SHREC) Datasets
• Large Geometric Models Archive
• The CAnonically Posed 3D Objects Dataset
• MIT CSAIL Textured Models Database
• Stanford 3D Scanning Repository
• Redwood - A Large Dataset of Object Scans

Nonrigid alignment

• FAUST
• TOSCA high-resolution and Non-rigid world

Pose estimation

• PASCAL3D+

People

• CAESAR

Miscellaneous

• Robust Global Translations with 1DSfM
• CMP Facade database
• SUN360 panorama database
• Image Aesthetic Visual Analysis (AVA)
• CUHKPQ Photo quality dataset

Motion Capture

• CMU Graphics Lab Motion Capture Database
• MoCap Hand Postures Data Set
• SCAPE: Shape Completion and Animation of People
• ACCAD Motion Capture Lab Library
• mocapdata.com
• The Motion Capture Club Library
• Body Movement Library
• KU Leuven Action Database
• Emotional Body Motion Database
• Multiple Human Pose Estimation dataset
• The Kinetics Human Action Video Dataset
• UBC3V
• Human3.6M
• MoSh Dataset
• JHMDB Dataset
• Penn Action Dataset
• Dense Pose

Eyes

• GazeCapture
• Columbia Gaze Data Set
• MPIIGaze Dataset
• High Quality Eye Capture Dataset
• SynthesEyes Dataset
• Kaggle Eye Gaze
• YouTube Faces Dataset with Facial Keypoints
• Swirski pupil dataset
• ExCuSe/ElSe pupil datasets
• Labeled pupils in the wild (LPW)
• Osnabruck gaze dataset
• Closed Eyes In The Wild (CEW)

Face

• FaceWarehouse
• NVIDIA Synthetic Head Dataset
• CASIA 3D Face Database
• University of York 3D Face Database
• Face Database of the Max Planck Institute for Biological Cybernetics
• The Bosphorus Database
• Spacetime Faces
• ETH Face Pose Range Image Data Set
• Biwi Kinect Head Pose Database
• BU-3DFE, BU-4DFE, and BP4D-Spontaneous
• Eurecom Kinect Face Dataset
• CMU Face Images Data Set
• Large Scale Facial Model
• TOSCA Human Face
• 300 Faces In-the-Wild Challenge (300-W)
• Dynamic 3D Facial Action Coding System (D3DFACS) Database

Scenes

• SceneNet
• SUNCG
• 3D Indoor Scenes Database
• ScanNet

Shading / Lighting

• MERL BRDF database
• UTIA BTF database
• Columbia-Utrecht Reflectance and Texture Database
• Weather and Illumination Database
• Fabrics Dataset
• MIT Intrinsic Images

Simulation

• John Hopkins Turbulence Databases

Volumetric

• The Volume Library

搜集汇总

数据集介绍

构建方式

vfx-datasets数据集的构建汇集了多种视觉特效（VFX）相关的子数据集，涵盖了从二维合成、人群模拟、毛发处理到建模、运动捕捉等众多领域。数据集的构建主要通过搜集和整合各领域内公开的、商业用途受限的各类资源，旨在为机器学习应用在视觉特效领域提供丰富的数据支持。

特点

该数据集的特点在于其多样性和专业性，不仅包含了用于传统机器学习任务的标准数据集，如Alpha Matting、COCO等，还涵盖了如RENOIR、GOPRO deblur等针对特定视觉特效任务的数据集。这些数据集在来源上经过了严格的筛选和验证，确保了数据的质量和适用性。

使用方法

使用vfx-datasets数据集时，用户需注意各个子数据集的版权和使用许可。用户可以通过数据集的GitHub页面获取详细的子数据集列表和使用说明，同时需在利用数据集前仔细阅读并遵守任何相关的许可协议。数据集的使用通常涉及机器学习模型的训练、验证和测试，用户应根据具体的应用场景选择合适的数据集进行操作。

背景与挑战

背景概述

vfx-datasets是一个针对视觉特效（VFX）领域机器学习应用的资源列表，涵盖了各类数据集和其他相关资源。该数据集的创建旨在为VFX领域的研究和应用提供丰富的数据支持，助力相关技术的发展。该数据集由多个研究人员和机构共同维护，并在2017年12月首次发布，对相关领域产生了积极影响，成为VFX领域重要的数据资源之一。

当前挑战

vfx-datasets在构建过程中面临的挑战主要包括：1) 确保所收录的数据集在商业用途上遵循相应的许可协议；2) 数据集的多样性和质量保证；3) 数据集的持续更新和维护，以适应不断发展的VFX技术需求。此外，该数据集在解决领域问题，如图像分类、光学流、人脸重建等方面的挑战时，也需不断优化数据集的构成，以提升模型的性能和泛化能力。

常用场景

经典使用场景

vfx-datasets数据集广泛应用于视觉特效（VFX）领域，其经典使用场景包括为机器学习模型训练提供丰富的数据资源，如Alpha Matting、Video Matting等数据集，用于训练模型以实现图像中对象的精确提取。此外，诸如NYU Depth Dataset、Make3D等数据集则被用于深度估计和3D重建任务，极大地推动了相关研究的发展。

解决学术问题

该数据集解决了视觉特效领域中多个关键学术问题，如通过MSRA10K Salient Object Database和Berkeley Segmentation Dataset等数据集，研究者能够更有效地探索显著目标检测和图像分割技术。此外，数据集中的高质量光学流数据，如MPI Sintel Optical Flow Dataset和Flying Chairs Optical Flow Dataset，为光流估计和运动分析提供了强有力的数据支持，促进了相关算法的进步。

衍生相关工作

基于vfx-datasets数据集，研究者们衍生出了一系列相关工作，如利用数据集进行深度学习模型的训练和评估，发表了多篇学术论文。此外，一些商业项目也基于这些数据集开发出了新的视觉特效工具和应用程序，进一步推动了VFX领域的技术创新和应用发展。