Pix2Pix

用于机器学习的图像到图像转换数据集，包括多个子数据集如cityscapes, edges2handbags等。

A dataset for machine learning focused on image-to-image translation, encompassing various sub-datasets such as cityscapes and edges2handbags.

原始信息汇总

Machine Learning Data

• Pix2Pix
  • Source location: https://people.eecs.berkeley.edu/~tinghuiz/projects/pix2pix/datasets/
  • Datasets:
    • cityscapes
    • edges2handbags
    • edges2shoes
    • facades
    • maps

한국거래소(KRX)에서 일자별 시가총액 순위 데이터

• Time range: 1995-05-02~2019-04-30 (24 years)
• Data size: 10 million records (CSV)
• Source: https://github.com/FinanceData/marcap.git

Image

• Dog Breed Identification dataset
  • Purpose: Multiclass classification problem with 120 breeds of dogs.
  • Source: https://www.kaggle.com/c/dog-breed-identification/data

TTS

• Dataset: http://www.openslr.org/60/

Youtube

• YouTube-8M Dataset
  • Description: Segment level annotation provided, manual verification of labels.
  • Details:
    • 1,000 classes
    • 237K labels (manually)
    • Average 5 segments per video
    • Random 5-second segments
    • Annotation format similar to YouTube-8M

Classification or Recognition or Generative

• tencent-ml-images
  • Source: https://github.com/Tencent/tencent-ml-images.git
• NVIDIA food Image classification
  • Source: https://github.com/corona10/FoodDataSet
• CIFAR-10, CIFAR-100
  • Source: https://www.cs.toronto.edu/~kriz/cifar.html
• Large-scale CelebFaces Attributes (CelebA) Dataset
  • Source: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
• Street View House Numbers (SVHN)
  • Source: http://ufldl.stanford.edu/housenumbers/
• MNIST
  • Source: http://yann.lecun.com/exdb/mnist/

Medical

• Lung cancer dataset
  • Source: https://luna.grand-challenge.org
  • Kaggle: https://www.kaggle.com/c/data-science-bowl-2017
• Brain tumor dataset
  • Source: http://braintumorsegmentation.org
• Breast cancer dataset (kaggle)
  • Source: https://www.kaggle.com/uciml/breast-cancer-wisconsin-data

Video

• YouTube-BoundingBoxes Dataset
  • Source: https://research.google.com/youtube-bb/index.html
• Youtube-8M Dataset
  • Source: https://research.google.com/youtube8m/
• The Kinetics Human Action Video Dataset
  • Source: https://deepmind.com/research/open-source/open-source-datasets/kinetics/

Text

• StatMT(Machine Translation, summarization)
  • Source:
    • http://www.statmt.org/wmt14/translation-task.html
    • http://www.statmt.org/wmt15/translation-task.html
    • http://www.statmt.org/wmt16/translation-task.html
    • http://www.statmt.org/wmt17/translation-task.html
• UN parallel Corpus
  • Source: https://conferences.unite.un.org/UNCorpus
• IWSLT Dataset (including TED Translation)
  • Source: https://sites.google.com/site/iwsltevaluation2016/
• Google sentence compression
  • Source: http://storage.googleapis.com/sentencecomp/compression-data.json
• bAbI dataset (Facebook Question Answering)
  • Source: https://research.facebook.com/research/babi/
• Stanford Question Answering Dataset
  • Source: https://rajpurkar.github.io/SQuAD-explorer/

Sound

• Nottingham music dataset
  • Source: https://www-labs.iro.umontreal.ca/~lisa/deep/data/
• A large-scale dataset of manually annotated audio events (Google research)
  • Source: https://research.google.com/audioset/

Knowledge Base

• Freebase
  • Source: https://datahub.io/ko_KR/dataset/freebase
• Wordnet
  • Source: https://wordnet.princeton.edu/
• DBPedia Dataset
  • Source: http://wiki.dbpedia.org/services-resources/datasets/dbpedia-datasets
• Yago
  • Source: https://datahub.io/ko_KR/dataset/yago

Social Networks & Recommendation

• AMiner - Datasets for social network Analysis
  • Source: https://cn.aminer.org/data
• Netflix Prize Data Set
  • Source: http://academictorrents.com/details/9b13183dc4d60676b773c9e2cd6de5e5542cee9a

Pre-trained Model

• Word2Vec
  • Source: https://code.google.com/archive/p/word2vec/
• GloVe
  • Source: https://nlp.stanford.edu/projects/glove/
• FastText
  • Source: https://github.com/facebookresearch/fastText/blob/master/pretrained-vectors.md

국내 데이터셋

• SKT Bigdata hub
  • Source: https://www.bigdatahub.co.kr/index.do

ETC.

• Titanic survivors dataset
  • Source: https://goo.gl/P9CMFY
• Obama’s political speeches
  • Source: https://github.com/samim23/obama-rnn
• Yahoo Finance dataset
  • Source: https://finance.yahoo.com/quote/GOOG/history?ltr=1
• NYC Taxi dataset
  • Source: http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml
• US Census dataset
  • Source: https://www.census.gov/topics/income-poverty/income/data/datasets.html

Data Science Data

• Diamond.csv
• countries.csv
• exprs_GSE5859.csv
• movies.dat
• movie_lines.txt
• movie conversation
• mtcars.csv
• pollster_cleaned_2002_2008.csv
• pollster_cleaned_2010.csv
• pollster_cleaned_2012.csv
• kospi_kospi.csv

搜集汇总

数据集介绍

构建方式

Pix2Pix数据集的构建基于图像到图像的转换任务，旨在通过成对的图像数据训练生成对抗网络（GAN）。该数据集包含了多种场景下的图像对，如城市景观、建筑立面、地图等。每一对图像均由输入图像和对应的目标图像组成，输入图像通常为边缘图或简化的表示，而目标图像则为真实的场景或物体。这些图像对通过人工标注或自动化工具生成，确保了数据的高质量和一致性。

特点

Pix2Pix数据集的特点在于其多样性和广泛的应用场景。数据集涵盖了从城市景观到日常物品的多种图像类型，能够支持多种图像生成任务。每一对图像都经过精心设计，输入图像与目标图像之间存在明确的映射关系，这为模型的训练提供了清晰的指导。此外，数据集的规模较大，能够满足深度学习模型对大量训练数据的需求。Pix2Pix数据集的高质量和多样性使其成为图像生成领域的基准数据集之一。

使用方法

Pix2Pix数据集的使用方法主要围绕图像到图像的生成任务展开。研究人员可以通过下载数据集中的图像对，利用生成对抗网络（GAN）进行训练。输入图像通常作为生成器的输入，目标图像则作为监督信号，指导生成器输出高质量的图像。训练过程中，判别器负责区分生成图像与真实图像，从而提升生成器的性能。Pix2Pix数据集还可用于评估不同生成模型的性能，通过对比生成图像与目标图像的相似度，量化模型的生成效果。

背景与挑战

背景概述

Pix2Pix数据集由加州大学伯克利分校的研究团队于2016年推出，旨在解决图像到图像的转换问题。该数据集的核心研究问题是通过生成对抗网络（GAN）实现从输入图像到目标图像的映射，广泛应用于图像修复、风格迁移和语义分割等领域。Pix2Pix的提出极大地推动了计算机视觉和图像生成技术的发展，成为该领域的重要基准之一。

当前挑战

Pix2Pix数据集在解决图像到图像转换问题时面临诸多挑战。首先，生成高质量且逼真的目标图像需要模型具备强大的特征提取和重建能力，这对算法的设计提出了较高要求。其次，数据集的构建过程中，如何确保输入图像与目标图像之间的对齐性是一个关键问题，尤其是在处理复杂场景时。此外，数据集的多样性和规模也对模型的泛化能力提出了挑战，如何在有限的数据条件下实现高效的模型训练仍需进一步探索。

常用场景

经典使用场景

Pix2Pix数据集在图像生成与转换领域具有广泛的应用，尤其是在图像到图像的转换任务中表现出色。该数据集通过提供成对的输入和输出图像，使得模型能够学习从一种图像形式到另一种图像形式的映射。例如，从边缘图生成真实图像，或从卫星图像生成地图。这种成对数据的结构为生成对抗网络（GAN）的训练提供了坚实的基础，推动了图像生成技术的进步。

实际应用

Pix2Pix数据集在实际应用中展现了强大的潜力，尤其是在图像编辑、医学影像处理和自动驾驶等领域。例如，在医学影像中，该数据集可以用于将低分辨率的医学图像转换为高分辨率图像，帮助医生更准确地诊断疾病。在自动驾驶中，Pix2Pix可以用于将卫星图像转换为道路地图，为自动驾驶系统提供精确的导航信息。这些应用展示了该数据集在现实世界中的广泛价值。

衍生相关工作

Pix2Pix数据集催生了许多经典的研究工作，尤其是在生成对抗网络（GAN）领域。基于该数据集，研究人员提出了多种改进的GAN模型，如CycleGAN、StarGAN等，这些模型在图像风格迁移、图像修复等任务中取得了显著成果。此外，Pix2Pix还为图像生成领域的其他研究提供了重要的数据支持，推动了图像生成技术的多样化发展。