Awesome Public Datasets

这是一个收集和整理自互联网上的大规模公共数据集的列表，涵盖气候、经济、能源、金融、生物、物理、医疗健康、地理空间和交通运输等多个领域。

This is a list of large-scale public datasets collected and curated from the Internet, covering a wide range of domains including climate, economics, energy, finance, biology, physics, healthcare, geospatial studies, and transportation.

原始信息汇总

数据集概述

气候数据集

• 澳大利亚天气: http://www.bom.gov.au/climate/dwo/
• 气候数据: http://www.cru.uea.ac.uk/cru/data/temperature/ 和 ftp://ftp.cmdl.noaa.gov/
• 全球气候数据自1929年: http://www.tutiempo.net/en/Climate
• NOAA Bering Sea Climate: http://www.beringclimate.noaa.gov/
• NOAA气候数据集: http://ncdc.noaa.gov/data-access/quick-links
• WU历史天气全球: http://www.wunderground.com/history/index.html

经济数据集

• 美国经济协会(AEA): http://www.aeaweb.org/RFE/toc.php?show=complete
• EconData (UMD): http://inforumweb.umd.edu/econdata/econdata.html
• 互联网产品代码数据库: http://www.upcdatabase.com/
• 世界银行: http://data.worldbank.org/indicator

能源数据集

• AMPds: http://ampds.org/
• BLUEd: http://nilm.cmubi.org/
• COMBED: http://combed.github.io/
• Dataport: https://dataport.pecanstreet.org/
• ECO: http://www.vs.inf.ethz.ch/res/show.html?what=eco-data
• iAWE: http://iawe.github.io/
• HFED: http://hfed.github.io/
• Plaid: http://plaidplug.com/
• REDD: http://redd.csail.mit.edu/
• UK-Dale: http://www.doc.ic.ac.uk/~dk3810/data/

金融数据集

• CBOE期货交易所: http://cfe.cboe.com/Data/
• Google Finance: https://www.google.com/finance
• Google Trends: http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
• NASDAQ: https://data.nasdaq.com/
• OANDA: http://www.oanda.com/
• OSU金融数据: http://fisher.osu.edu/fin/osudata.htm
• Quandl: http://www.quandl.com/
• St Louis联邦: http://research.stlouisfed.org/fred2/
• Yahoo Finance: http://finance.yahoo.com/

生物学数据集

• CRCNS: http://crcns.org/data-sets
• 基因表达综合数据库: http://www.ncbi.nlm.nih.gov/geo/
• 人类微生物组项目: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• MIT癌症基因组数据: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NIH微阵列数据: ftp://ftp.ncbi.nih.gov/pub/geo/DATA/supplementary/series/GSE6532/
• 蛋白质结构: http://www.infobiotic.net/PSPbenchmarks/
• 公共基因数据: http://www.pubgene.org/
• 斯坦福微阵列数据: http://smd.stanford.edu/
• UniGene: http://www.ncbi.nlm.nih.gov/unigene
• 个人基因组项目: http://www.personalgenomes.org/ 或 https://my.pgp-hms.org/public_genetic_data
• 1000基因组: http://www.1000genomes.org/data
• UCSC公共数据: http://hgdownload.soe.ucsc.edu/downloads.html

物理学数据集

• NASA: http://nssdc.gsfc.nasa.gov/nssdc/obtaining_data.html

医疗保健数据集

• EHDP大型健康数据集: http://www.ehdp.com/vitalnet/datasets.htm
• Gapminder: http://www.gapminder.org/data/
• 医疗保险数据文件: http://go.cms.gov/19xxPN4

地理空间数据集

• EOSDIS: http://sedac.ciesin.columbia.edu/data/sets/browse
• Factual全球位置数据: http://www.factual.com/
• 地理空间数据: http://geodacenter.asu.edu/datalist/
• OpenStreetMap: http://wiki.openstreetmap.org/wiki/Downloading_data
• GeoNames: http://www.geonames.org/
• BODC: http://www.bodc.ac.uk/data/where_to_find_data/
• GADM: http://www.gadm.org/

交通运输数据集

• 航空公司数据: http://stat-computing.org/dataexpo/2009/the-data.html
• 机场及其位置: http://www.infochimps.com/datasets/airports-and-their-locations
• 自行车共享数据系统: https://github.com/BetaNYC/Bike-Share-Data-Best-Practices/wiki/Bike-Share-Data-Systems
• 美国国内航班1990至2009年的边缘数据: http://data.memect.com/?p=229
• 半百万Hubway骑行: http://hubwaydatachallenge.org/trip-history-data/
• 纽约市出租车行程数据2013: https://archive.org/details/nycTaxiTripData2013
• OpenFlights: http://openflights.org/data.html
• RITA航空公司准时性能数据: http://www.transtats.bts.gov/Tables.asp?DB_ID=120
• RITA运输数据收集: http://www.transtats.bts.gov/DataIndex.asp
• 伦敦交通: http://www.tfl.gov.uk/info-for/open-data-users/our-feeds
• 美国货运分析框架: http://ops.fhwa.dot.gov/freight/freight_analysis/faf/index.htm

政府数据集

• Archive-it: https://www.archive-it.org/explore?show=Collections
• 澳大利亚: http://www.abs.gov.au/AUSSTATS/abs@.nsf/DetailsPage/3301.02009?OpenDocument
• 加拿大: http://www.data.gc.ca/default.asp?lang=En&n=5BCD274E-1
• 芝加哥: https://data.cityofchicago.org/
• FDA: https://open.fda.gov/index.html
• Fed Stats: http://www.fedstats.gov/cgi-bin/A2Z.cgi
• 卫报世界政府数据: http://www.guardian.co.uk/world-government-data
• HUD: http://www.huduser.org/portal/datasets/pdrdatas.html
• 伦敦数据商店: http://data.london.gov.uk/dataset
• 新西兰: http://www.stats.govt.nz/browse_for_stats.aspx
• 纽约betanyc: http://betanyc.us/
• 纽约开放数据: http://nycplatform.socrata.com/
• OECD: http://www.oecd.org/document/0,3746,en_2649_201185_46462759_1_1_1_1,00.html
• RITA: http://www.transtats.bts.gov/OT_Delay/OT_DelayCause1.asp
• 旧金山数据集: http://datasf.org/
• 世界银行: http://wdronline.worldbank.org/
• 英国政府数据: http://data.gov.uk/data
• 美国人口普查局: http://www.census.gov/data.html
• 美国联邦政府机构: http://www.data.gov/metric
• 美国联邦政府数据目录: http://catalog.data.gov/dataset
• 美国开放政府: http://www.data.gov/open-gov/
• 英国2011年人口普查开放地图项目: http://www.alex-singleton.com/2011-census-open-atlas-project/
• 联合国: http://data.un.org/
• 美国CDC公共卫生数据集: http://www.cdc.gov/nchs/data_access/ftp_data.htm
• 印度开放政府数据(OGD)平台: http://www.data.gov.in/

数据挑战

• 机器学习挑战: http://www.chalearn.org/
• ICWSM数据挑战: http://icwsm.cs.umbc.edu/
• Kaggle竞赛数据: http://www.kaggle.com/
• KDD杯由腾讯2012: https://www.kddcup2012.org/
• Netflix奖: http://www.netflixprize.com/leaderboard
• Yelp数据挑战: http://www.yelp.com/dataset_challenge

机器学习数据集

• eBay在线拍卖: http://www.modelingonlineauctions.com/datasets
• IMDb数据库: http://www.imdb.com/interfaces
• Keel存储库: http://sci2s.ugr.es/keel/datasets.php
• Lending Club贷款数据: https://www.lendingclub.com/info/download-data.action
• 机器学习数据集存储库: http://mldata.org/
• 百万歌曲数据集: http://blog.echonest.com/post/3639160982/million-song-dataset
• 更多歌曲数据集: http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets
• MovieLens数据集: http://datahub.io/dataset/movielens
• RDataMining R和数据挖掘电子书数据: http://www.rdatamining.com/data
• 地球上注册的陨石: http://www.analyticbridge.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
• 旧金山餐厅数据集: http://missionlocal.org/san-francisco-restaurant-health-inspections/
• UCI机器学习存储库: http://archive.ics.uci.edu/ml/
• 多伦多大学Delve数据集: http://www.cs.toronto.edu/~delve/data/datasets.html
• 雅虎评级和分类数据: http://webscope.sandbox.yahoo.com/catalog.php?datatype=r

自然语言处理数据集

• 4000万实体上下文: https://code.google.com/p/wiki-links/downloads/list
• ClueWeb09 FACC: http://lemurproject.org/clueweb09/FACC1/
• ClueWeb12 FACC: http://lemurproject.org/clueweb12/FACC1/
• Flickr个人分类: http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html
• Google图书Ngrams: http://aws.amazon.com/datasets/8172056142375670
• Google Web 5gram, 2006 (1T): https://catalog.ldc.upenn.edu/LDC2006T13
• 古腾堡电子书列表: http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
• Hansards: http://www.isi.edu/natural-language/download/hansard/
• 机器翻译: http://statmt.org/wmt11/translation-task.html#download
• SMS垃圾邮件收集: http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
• USENET语料库: http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.html
• WordNet: http://wordnet.princeton.edu/wordnet/download/

图像处理数据集

• 2GB猫照片: http://137.189.35.203/WebUI/CatDatabase/catData.html
• 面部识别基准: http://www.face-rec.org/databases/
• ImageNet: http://www.image-net.org/

时间序列数据集

• 时间序列数据图书馆: https://datamarket.com/data/list/?q=provider:tsdl
• UC Riverside时间序列: http://www.cs.ucr.edu/~eamonn/time_series_data/

社会科学数据集

• 中国酒店入住/退房数据: http://www.360doc.com/content/13/1105/13/7863900_326788919.shtml
• CMU Enron电子邮件: http://www.cs.cmu.edu/~enron/
• Facebook社交网络: http://law.di.unimi.it/datasets.php
• Facebook100 (2005): https://archive.org/details/oxford-2005-facebook-matrix
• Foursquare (2010,2011): http://www.public.asu.edu/~hgao16/dataset.html
• Foursquare (UMN/Sarwat, 2013): https://archive.org/details/201309_foursquare_dataset_umn
• 一般社会调查(GSS): http://www3.norc.org/GSS+Website/
• GetGlue: http://bit.ly/1aL8XS0
• GitHub存档: http://www.githubarchive.org/
• ICPSR: http://www.icpsr.umich.edu/icpsrweb/ICPSR/index.jsp
• 移动社交网络(UMASS): https://kdl.cs.umass.edu/display/public/Mobile+Social+Networks
• PewResearch互联网项目: http://www.pewinternet.org/datasets/pages/2/
• 社交网络: http://www.cs.cmu.edu/~jelsas/data/ancestry.com/
• SourceForge图: http://www.nd.edu/~oss/Data/data.html
• 泰坦尼克号生存数据集: https://github.com/caesar0301/awesome-public-datasets/blob/master/Datasets/titanic.csv.zip
• Twitter图: http://an.kaist.ac.kr/traces/WWW2010.html
• UC Berkeley的D-Lab存档: http://ucdata.berkeley.edu/
• UCLA社会科学数据档案: http://dataarchives.ss.ucla.edu/Home.DataPortals.htm
• UNIMI社交网络数据集: http://law.di.unimi.it/datasets.php
• 全球大学: http://univ.cc/
• UPJOHN就业研究: http://www.upjohn.org/erdc/erdc.html
• 雅虎图和社交数据: http://webscope.sandbox.yahoo.com/catalog.php?datatype=g
• Youtube图 (2007,2008): http://netsg.cs.sfu.ca/youtubedata/

复杂网络数据集

• CrossRef DOI URLs: https://archive.org/details/doi-urls
• DBLP引用数据集: https://kdl.cs.umass.edu/display/public/DBLP
• NBER专利引用: http://nber.org/patents/
• NIST复杂网络数据收集: http://math.nist.gov/~RPozo/complex_datasets.html
• 蛋白质-蛋白质相互作用网络: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI和Maven依赖网络: http://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus引用数据库: http://www.elsevier.com/online-tools/scopus
• 斯坦福图库(Steven Skiena): http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• **斯坦福大型

搜集汇总

数据集介绍

构建方式

Awesome Public Datasets 数据集的构建方式主要依赖于从博客、问答平台以及用户反馈中收集和整理公共数据资源。这些数据源涵盖了多个领域，包括气候、经济、能源、金融、生物学、物理学、医疗、地理空间、交通、政府、数据挑战、机器学习、自然语言处理、图像处理、时间序列、社会科学、复杂网络、计算机网络、数据搜索引擎、公共领域以及补充集合等。通过系统化的整理和分类，该数据集为用户提供了一个全面且易于访问的公共数据资源库。

特点

Awesome Public Datasets 数据集的特点在于其广泛性和多样性。该数据集不仅涵盖了多个学科领域，如气候、经济、生物学等，还包含了多种数据类型，如时间序列、图像、文本等。此外，数据集中的资源大多免费，部分资源虽需付费，但提供了丰富的公共数据访问权限。这种多样性和开放性使得该数据集成为研究者和开发者的重要资源。

使用方法

使用 Awesome Public Datasets 数据集时，用户可以根据自己的研究或开发需求，选择相应的数据类别和具体数据源。每个数据类别下都列出了详细的数据链接，用户可以直接访问这些链接获取数据。此外，数据集的README文件提供了详细的分类和索引，方便用户快速定位所需数据。对于需要特定数据集的用户，可以通过搜索功能或浏览分类目录来找到合适的数据资源。

背景与挑战

背景概述

Awesome Public Datasets 是一个广泛收集和整理的公共数据资源列表，涵盖了多个领域，如气候、经济、能源、生物学、物理学、健康、地理空间、交通、政府、数据挑战、机器学习、自然语言处理、图像处理、时间序列、社会科学、复杂网络、计算机网络、数据搜索引擎、公共领域以及补充数据集等。该数据集由社区驱动，主要研究人员和机构未明确提及，但其创建旨在为研究人员、数据科学家和开发者提供一个便捷的公共数据资源索引，以支持跨学科的研究和应用。自创建以来，该数据集已成为全球范围内数据共享和协作的重要平台，极大地促进了各领域数据的开放和利用。

当前挑战

尽管Awesome Public Datasets提供了丰富的数据资源，但其构建和维护过程中仍面临诸多挑战。首先，数据的质量和一致性问题是一个主要挑战，不同来源的数据可能存在格式不统一、数据缺失或错误等问题。其次，数据的可访问性和使用权限也是一个复杂的问题，部分数据可能需要特定的许可或付费才能使用。此外，随着数据量的增加，如何有效地管理和更新数据集，确保其时效性和可用性，也是一个持续的挑战。最后，跨领域的数据整合和分析需求日益增长，如何实现不同领域数据的无缝对接和高效利用，是当前研究的一个重要方向。

常用场景

经典使用场景

Awesome Public Datasets 数据集因其广泛涵盖多个领域的公共数据而闻名，尤其在气候、经济、能源、金融、生物学等领域的研究中具有经典应用。例如，气候领域的研究者可以利用澳大利亚天气数据和全球气候数据进行气候变化分析；经济学领域的学者则可以借助美国经济协会（AEA）和世界银行的数据进行经济模型构建与预测；能源领域的研究人员则可通过AMPds和REDD等数据集进行智能电网和能源消耗的建模与优化。

解决学术问题

该数据集解决了多个学术领域中的关键问题，如气候变化模型的验证、经济政策的评估、能源消耗的优化以及生物医学数据的分析。通过提供高质量、多样化的公共数据，研究者能够进行更精确的模型训练和验证，从而推动相关领域的理论与实践发展。例如，气候数据帮助科学家验证气候模型，经济数据支持政策制定者评估经济干预措施的效果，生物学数据则为基因组学和蛋白质结构研究提供了基础。

衍生相关工作

Awesome Public Datasets 数据集不仅为学术研究提供了丰富的数据资源，还衍生出了一系列经典工作。例如，在机器学习领域，UCI Machine Learning Repository 和 Million Song Dataset 等数据集催生了大量关于分类、聚类和推荐系统的研究；在生物学领域，Gene Expression Omnibus 和 Human Microbiome Project 数据集推动了基因组学和微生物组研究的进展；在金融领域，Quandl 和 Yahoo Finance 数据集则为金融时间序列分析和风险管理提供了重要支持。