Awesome Public Datasets
收藏github2018-07-27 更新2024-05-31 收录
下载链接：
https://github.com/justboy1987/awesome-public-datasets
下载链接
链接失效反馈官方服务：
资源简介：
一个主题中心的高质量公开数据集列表，涵盖农业、生物学等多个领域。
A high-quality open dataset list centered around various themes, covering multiple fields such as agriculture and biology.
创建时间：
2018-07-27
原始信息汇总
数据集概述
农业
- U.S. Department of Agricultures Nutrient Database
- U.S. Department of Agricultures PLANTS Database
生物学
- 1000 Genomes
- 链接: 1000 Genomes
- American Gut (Microbiome Project)
- Broad Bioimage Benchmark Collection (BBBC)
- Broad Cancer Cell Line Encyclopedia (CCLE)
- Cell Image Library
- Complete Genomics Public Data
- EBI ArrayExpress
- 链接: EBI ArrayExpress
- EBI Protein Data Bank in Europe
- ENCODE project
- 链接: ENCODE project
- Electron Microscopy Pilot Image Archive (EMPIAR)
- Ensembl Genomes
- 链接: Ensembl Genomes
- Gene Expression Omnibus (GEO)
- Gene Ontology (GO)
- Global Biotic Interactions (GloBI)
- Harvard Medical School (HMS) LINCS Project
- Human Genome Diversity Project
- Human Microbiome Project (HMP)
- ICOS PSP Benchmark
- International HapMap Project
- Journal of Cell Biology DataViewer
- KEGG - KEGG is a database resource for understanding high-level functions [...]
- 链接: KEGG
- MIT Cancer Genomics Data
- NCBI Proteins
- 链接: NCBI Proteins
- NCBI Taxonomy
- 链接: NCBI Taxonomy
- NCI Genomic Data Commons
- NIH Microarray data
- OpenSNP genotypes data
- Pathguid - Protein-Protein Interactions Catalog
- Protein Data Bank
- Psychiatric Genomics Consortium
- PubChem Project
- 链接: PubChem Project
- PubGene (now Coremine Medical)
- Sanger Catalogue of Somatic Mutations in Cancer (COSMIC)
- Sanger Genomics of Drug Sensitivity in Cancer Project (GDSC)
- Sequence Read Archive(SRA)
- Stanford Microarray Data
- Stowers Institute Original Data Repository
- Systems Science of Biological Dynamics (SSBD) Database
- The Cancer Genome Atlas (TCGA), available via Broad GDAC
- The Catalogue of Life
- The Personal Genome Project
- UCSC Public Data
- 链接: UCSC Public Data
- UniGene
- 链接: UniGene
- Universal Protein Resource (UnitProt)
气候+天气
- Actuaries Climate Index
- Australian Weather
- Aviation Weather Center - Consistent, timely and accurate weather [...]
- Brazilian Weather - Historical data (In Portuguese)
- Canadian Meteorological Centre
- Climate Data from UEA (updated monthly)
- 链接: [Climate Data from UEA (updated monthly)](https://crudata.uea.ac.uk/cru/data/temperature/#datter and ftp://ftp.cmdl.noaa.gov/)
- European Climate Assessment & Dataset
- Global Climate Data Since 1929
- NASA Global Imagery Browse Services
- NOAA Bering Sea Climate
- NOAA Climate Datasets
- NOAA Realtime Weather Models
- NOAA SURFRAD Meteorology and Radiation Datasets
- The World Bank Open Data Resources for Climate Change
- UEA Climatic Research Unit
- WU Historical Weather Worldwide
- WorldClim - Global Climate Data
复杂网络
- AMiner Citation Network Dataset
- CrossRef DOI URLs
- DBLP Citation dataset
- DIMACS Road Networks Collection
- NBER Patent Citations
- NIST complex networks data collection
- Network Repository with Interactive Exploratory Analysis Tools
- Protein-protein interaction network
- PyPI and Maven Dependency Network
- Scopus Citation Database
- Small Network Data
- Stanford GraphBase
- Stanford Large Network Dataset Collection
- Stanford Longitudinal Network Data Sources
- The Koblenz Network Collection
- The Laboratory for Web Algorithmics (UNIMI)
- The Nexus Network Repository
- UCI Network Data Repository
- UFL sparse matrix collection
- WSU Graph Database
计算机网络
- 3.5B Web Pages from CommonCrawl 2012
- 53.5B Web clicks of 100K users in Indiana Univ.
- CAIDA Internet Datasets
- CRAWDAD Wireless datasets from Dartmouth Univ.
- ClueWeb09 - 1B web pages
- ClueWeb12 - 733M web pages
- CommonCrawl Web Data over 7 years
- Criteo click-through data
- Internet-Wide Scan Data Repository
- OONI: Open Observatory of Network Interference - Internet censorship data
- Open Mobile Data by MobiPerf
- Rapid7 Sonar Internet Scans
搜集汇总
数据集介绍
构建方式
Awesome Public Datasets 是一个由社区维护的公共数据集列表，涵盖了多个领域。该数据集的构建主要通过从博客、回答和用户响应中收集和整理高质量的数据源。数据集的收集和整理过程是自动化的，通过apd-core工具实现。数据的获取和更新都遵循了一定的社区贡献指南。
特点
该数据集的特点在于其覆盖领域广泛，包括农业、生物学、气候和天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融和地理信息系统等多个领域。此外，它提供了多种数据格式，易于访问和使用，且大部分数据集是免费的。
使用方法
用户可以通过GitHub仓库直接访问数据集，每个数据集都有详细的描述和链接。用户需要根据自己的研究或项目需求，选择合适的数据集，并遵循数据集的使用条款和条件。部分数据集可能需要特定的软件或工具来处理和分析数据。
背景与挑战
背景概述
Awesome Public Datasets 是一个收集和整理高质量公共数据集的项目，由 sindresorhus 维护。该数据集涵盖了多个领域，如农业、生物学、气候与天气、复杂网络、计算机网络、数据挑战、地球科学、经济学、教育、能源、金融和地理信息系统等。这些数据集主要来源于博客、回答和用户响应，大部分是免费的，但也有一部分是收费的。该项目旨在为研究人员提供方便的数据集获取途径，对相关领域的研究产生了积极的影响。
当前挑战
在构建 Awesome Public Datasets 的过程中，研究人员面临了多个挑战。首先，确保数据集的质量和准确性是一个持续的挑战，因为这涉及到从多个来源收集和整理数据。其次，维护和更新这些数据集以反映最新的研究进展也是一个挑战。此外，由于数据集的多样性，为用户提供有效和方便的检索方式也是一个需要解决的问题。
常用场景
经典使用场景
Awesome Public Datasets 集合了众多领域的公共数据集，其经典使用场景主要在于为研究人员提供一站式资源查询平台，以便于快速定位和获取所需的数据集，进而推动学术研究和创新。
解决学术问题
该数据集解决了学术研究中数据获取困难的问题，通过整理和分类，使得研究者能够更加高效地找到相关数据，缩短了研究周期，提高了研究质量。
衍生相关工作
基于该数据集，衍生出了一系列相关工作，包括数据集的扩展、数据质量的提升、以及基于数据集的学术研究和应用开发等，进一步推动了数据科学领域的发展。
以上内容由遇见数据集搜集并总结生成
