five

Awesome Public Datasets

收藏
github2020-05-19 更新2024-05-31 收录
下载链接：
https://github.com/namesjames/awesome-public-datasets
下载链接
链接失效反馈
官方服务：
资源简介：
这是一个收集和整理互联网上公共数据源的列表，涵盖气候、经济、能源、金融、生物、农业、物理、医疗健康和地理空间等多个领域。

This is a curated list of publicly available data sources on the internet, encompassing a wide range of fields including climate, economics, energy, finance, biology, agriculture, physics, healthcare, and geospatial data.
创建时间：
2016-03-26
原始信息汇总

数据集概述

气候/天气

  • 澳大利亚天气: http://www.bom.gov.au/climate/dwo/
  • 加拿大气象中心: https://weather.gc.ca/grib/index_e.html
  • 气候数据: http://www.cru.uea.ac.uk/cru/data/temperature/#datter 和 ftp://ftp.cmdl.noaa.gov/
  • 全球气候数据自1929年: http://www.tutiempo.net/en/Climate
  • NOAA白令海气候: http://www.beringclimate.noaa.gov/
  • NOAA气候数据集: http://ncdc.noaa.gov/data-access/quick-links
  • NOAA实时天气模型: http://www.ncdc.noaa.gov/data-access/model-data/model-datasets/numerical-weather-prediction
  • WU历史天气全球: http://www.wunderground.com/history/index.html

经济学

  • 美国经济协会(AEA): http://www.aeaweb.org/RFE/toc.php?show=complete
  • EconData (UMD): http://inforumweb.umd.edu/econdata/econdata.html
  • 互联网产品代码数据库: http://www.upcdatabase.com/
  • 世界银行: http://data.worldbank.org/indicator

能源

  • AMPds: http://ampds.org/
  • BLUEd: http://nilm.cmubi.org/
  • COMBED: http://combed.github.io/
  • Dataport: https://dataport.pecanstreet.org/
  • ECO: http://www.vs.inf.ethz.ch/res/show.html?what=eco-data
  • EIA: http://www.eia.gov/electricity/data/eia923/
  • iAWE: http://iawe.github.io/
  • HFED: http://hfed.github.io/
  • Plaid: http://plaidplug.com/
  • REDD: http://redd.csail.mit.edu/
  • UK-Dale: http://www.doc.ic.ac.uk/~dk3810/data/

金融

  • CBOE期货交易所: http://cfe.cboe.com/Data/
  • Google财经: https://www.google.com/finance
  • Google趋势: http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
  • 纳斯达克: https://data.nasdaq.com/
  • OANDA: http://www.oanda.com/
  • OSU金融数据: http://fisher.osu.edu/fin/osudata.htm 或 http://fisher.osu.edu/fin/fdf/osudata.htm
  • Quandl: http://www.quandl.com/
  • 圣路易斯联邦: http://research.stlouisfed.org/fred2/
  • 雅虎财经: http://finance.yahoo.com/

生物学

  • CRCNS: http://crcns.org/data-sets
  • 基因表达综合(GEO): http://www.ncbi.nlm.nih.gov/geo/
  • 人类微生物组项目: http://www.hmpdacc.org/reference_genomes/reference_genomes.php
  • MIT癌症基因组数据: http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
  • NIH微阵列数据: ftp://ftp.ncbi.nih.gov/pub/geo/DATA/supplementary/series/GSE6532/
  • 蛋白质结构: http://www.infobiotic.net/PSPbenchmarks/
  • 蛋白质数据银行(PDB): http://pdb.org/
  • 公共基因数据: http://www.pubgene.org/
  • 斯坦福微阵列数据: http://smd.stanford.edu/
  • UniGene: http://www.ncbi.nlm.nih.gov/unigene
  • 个人基因组项目: http://www.personalgenomes.org/ 或 https://my.pgp-hms.org/public_genetic_data
  • 千人基因组: http://www.1000genomes.org/data
  • UCSC公共数据: http://hgdownload.soe.ucsc.edu/downloads.html

农业

  • 美国农业部PLANTS数据库: http://www.plants.usda.gov/dl_all.html

物理学

  • NASA: http://nssdc.gsfc.nasa.gov/nssdc/obtaining_data.html
  • CERN开放数据门户: http://opendata.cern.ch/

医疗保健

  • EHDP大型健康数据集: http://www.ehdp.com/vitalnet/datasets.htm
  • Gapminder: http://www.gapminder.org/data/
  • 医疗保险数据文件: http://go.cms.gov/19xxPN4

地理空间/GIS

  • EOSDIS: http://sedac.ciesin.columbia.edu/data/sets/browse
  • Factual全球位置数据: http://www.factual.com/
  • 地理空间数据: http://geodacenter.asu.edu/datalist/
  • OpenStreetMap: http://wiki.openstreetmap.org/wiki/Downloading_data
  • GeoNames: http://www.geonames.org/
  • BODC: http://www.bodc.ac.uk/data/where_to_find_data/
  • GADM: http://www.gadm.org/
  • twofishes: https://github.com/foursquare/twofishes
  • 自然地球: http://www.naturalearthdata.com/
  • tz_world: http://efele.net/maps/tz/world/
  • TIGER/Line: http://www.census.gov/geo/maps-data/data/tiger-line.html

交通运输

  • 航空公司数据(2009 ASA挑战): http://stat-computing.org/dataexpo/2009/the-data.html
  • 自行车共享数据系统: https://github.com/BetaNYC/Bike-Share-Data-Best-Practices/wiki/Bike-Share-Data-Systems
  • 美国国内航班边缘数据1990至2009: http://data.memect.com/?p=229
  • 半百万Hubway骑行: http://hubwaydatachallenge.org/trip-history-data/
  • 纽约出租车行程数据2013: https://archive.org/details/nycTaxiTripData2013
  • OpenFlights: http://openflights.org/data.html
  • RITA航空公司准时性能数据: http://www.transtats.bts.gov/Tables.asp?DB_ID=120
  • RITA运输数据收集: http://www.transtats.bts.gov/DataIndex.asp
  • 伦敦交通: http://www.tfl.gov.uk/info-for/open-data-users/our-feeds
  • 美国货运分析框架: http://ops.fhwa.dot.gov/freight/freight_analysis/faf/index.htm
  • 海洋交通: https://www.marinetraffic.com/de/p/api-services

政府

  • Archive-it: https://www.archive-it.org/explore?show=Collections
  • 澳大利亚: https://data.gov.au/
  • 加拿大: http://www.data.gc.ca/default.asp?lang=En&n=5BCD274E-1
  • 芝加哥: https://data.cityofchicago.org/
  • FDA: https://open.fda.gov/index.html
  • 联邦统计: http://www.fedstats.gov/cgi-bin/A2Z.cgi
  • 伦敦数据商店: http://data.london.gov.uk/dataset
  • 纽约开放数据: http://nycplatform.socrata.com/
  • 世界银行: http://wdronline.worldbank.org/
  • 英国政府数据: http://data.gov.uk/data
  • 美国人口普查局: http://www.census.gov/data.html
  • 美国联邦政府数据目录: http://catalog.data.gov/dataset
  • 联合国: http://data.un.org/
  • 美国CDC公共卫生数据集: http://www.cdc.gov/nchs/data_access/ftp_data.htm
  • 开放政府数据(OGD)平台印度: http://www.data.gov.in/

体育

  • Cricsheet: http://cricsheet.org/
  • Betfair: http://data.betfair.com/
  • Lahman的棒球数据库: http://www.seanlahman.com/baseball-archive/statistics/
  • Retrosheet: http://www.retrosheet.org/game.htm
  • Ergast一级方程式: http://ergast.com/mrd/db

数据挑战

  • 机器学习挑战: http://www.chalearn.org/
  • DrivenData: http://www.drivendata.org/
  • ICWSM数据挑战: http://icwsm.cs.umbc.edu/
  • Kaggle: http://www.kaggle.com/
  • KDD杯由腾讯2012: https://www.kddcup2012.org/
  • Netflix奖: http://www.netflixprize.com/leaderboard
  • Yelp数据集挑战: http://www.yelp.com/dataset_challenge

机器学习

  • eBay在线拍卖: http://www.modelingonlineauctions.com/datasets
  • IMDb数据库: http://www.imdb.com/interfaces
  • Keel存储库: http://sci2s.ugr.es/keel/datasets.php
  • Lending Club贷款数据: https://www.lendingclub.com/info/download-data.action
  • 机器学习数据集存储库: http://mldata.org/
  • 百万歌曲数据集: http://blog.echonest.com/post/3639160982/million-song-dataset
  • 更多歌曲数据集: http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets
  • MovieLens数据集: http://datahub.io/dataset/movielens
  • RDataMining R和数据挖掘电子书数据: http://www.rdatamining.com/data
  • 地球上注册的陨石: http://www.analyticbridge.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
  • 旧金山餐厅数据集: http://missionlocal.org/san-francisco-restaurant-health-inspections/
  • UCI机器学习存储库: http://archive.ics.uci.edu/ml/
  • 多伦多大学Delve数据集: http://www.cs.toronto.edu/~delve/data/datasets.html
  • 雅虎评级和分类数据: http://webscope.sandbox.yahoo.com/catalog.php?datatype=r

自然语言

  • 4000万实体在上下文中: https://code.google.com/p/wiki-links/downloads/list
  • ClueWeb09 FACC: http://lemurproject.org/clueweb09/FACC1/
  • ClueWeb12 FACC: http://lemurproject.org/clueweb12/FACC1/
  • Flickr个人分类法: http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html
  • Google图书Ngrams: http://aws.amazon.com/datasets/8172056142375670
  • Google Web 5gram, 2006 (1T): https://catalog.ldc.upenn.edu/LDC2006T13
  • 古腾堡电子书列表: http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
  • Hansards: http://www.isi.edu/natural-language/download/hansard/
  • 机器翻译: http://statmt.org/wmt11/translation-task.html#download
  • SMS垃圾邮件收集: http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
  • USENET语料库: http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.html
  • WordNet: http://wordnet.princeton.edu/wordnet/download/

图像处理

  • 2GB的猫照片: http://137.189.35.203/WebUI/CatDatabase/catData.html
  • 面部识别基准: http://www.face-rec.org/databases/
  • ImageNet: http://www.image-net.org/

时间序列

  • 时间序列数据图书馆: https://datamarket.com/data/list/?q=provider:tsdl
  • UC Riverside时间序列: http://www.cs.ucr.edu/~eamonn/time_series_data/

社会科学

  • 中国酒店入住/退房数据: http://www.360doc.com/content/13/1105/13/7863900_326788919.shtml
  • CMU Enron电子邮件: http://www.cs.cmu.edu/~enron/
  • Facebook社交网络: http://law.di.unimi.it/datasets.php
  • Facebook100 (2005): https://archive.org/details/oxford-2005-facebook-matrix
  • Foursquare (2010,2011): http://www.public.asu.edu/~hgao16/dataset.html
  • Foursquare (UMN/Sarwat, 2013): https://archive.org/details/201309_foursquare_dataset_umn
  • 一般社会调查(GSS): http://www3.norc.org/GSS+Website/
  • GetGlue: http://bit.ly/1aL8XS0
  • GitHub存档: http://www.githubarchive.org/
  • ICPSR: http://www.icpsr.umich.edu/icpsrweb/ICPSR/index.jsp
  • 移动社交网络(UMASS): https://kdl.cs.umass.edu/display/public/Mobile+Social+Networks
  • PewResearch互联网项目: http://www.pewinternet.org/datasets/pages/2/
  • 社交网络: http://www.cs.cmu.edu/~jelsas/data/ancestry.com/
  • SourceForge图: http://www.nd.edu/~oss/Data/data.html
  • 泰坦尼克号生存数据集: https://github.com/caesar0301/awesome-public-datasets/blob/master/Datasets/titanic.csv.zip
  • Twitter图: http://an.kaist.ac.kr/traces/WWW2010.html
  • UC Berkeley的D-Lab档案: http://ucdata.berkeley.edu/
  • UCLA社会科学数据档案: http://dataarchives.ss.ucla.edu/Home.DataPortals.htm
  • UNIMI社交网络数据集: http://law.di.unimi.it/datasets.php
  • 全球大学: http://univ.cc/
  • UPJOHN就业研究: http://www.upjohn.org/erdc/erdc.html
  • 雅虎图和社交数据: http://webscope.sandbox.yahoo.com/catalog.php?datatype=g
  • YouTube图(2007,2008): http://netsg.cs.sfu.ca/youtubedata/

复杂网络

  • CrossRef DOI URLs: https://archive.org/details/doi-urls
  • DBLP引用数据集: https://kdl.cs.umass.edu/display/public/DBLP
  • NBER专利引用: http://nber.org/patents/
  • NIST复杂网络数据收集: http://math.nist.gov/~RPozo/complex_datasets.html
  • 蛋白质-蛋白质相互作用网络: http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
  • PyPI和Maven依赖网络: http://ogirardot.wordpress.com/2013/01/31/sharing-pypim
搜集汇总
数据集介绍
main_image_url
构建方式
Awesome Public Datasets 数据集通过整合来自博客、问答平台和用户反馈的公开数据源构建而成。该数据集涵盖了多个领域，包括气候、经济、能源、金融、生物学、农业、物理、医疗、地理信息系统、交通、政府、体育、数据挑战、机器学习、自然语言处理、图像处理、时间序列、社会科学、复杂网络、计算机网络、博物馆等多个主题。每个领域的数据源均经过筛选和整理，确保其可用性和多样性。
特点
该数据集的特点在于其广泛的数据覆盖范围和多样化的数据来源。它不仅包含了来自政府机构、学术机构和企业的数据，还涵盖了多个学科领域的数据集。数据集中的每个条目都提供了详细的数据来源链接，方便用户直接访问和下载。此外，数据集中的大部分数据是免费的，部分数据可能需要付费或注册才能获取。这种多样性和开放性使得该数据集成为研究人员和数据科学家的宝贵资源。
使用方法
用户可以通过访问 Awesome Public Datasets 的 GitHub 页面，浏览不同领域的数据集列表。每个数据集条目都附有详细的数据来源链接，用户可以直接点击链接访问相关数据。对于需要进一步处理或分析的数据，用户可以根据数据提供方的要求进行下载和使用。该数据集特别适合用于跨学科研究、数据挖掘、机器学习模型的训练与验证等场景。用户还可以根据自身需求，选择特定领域的数据集进行深入分析。
背景与挑战
背景概述
Awesome Public Datasets 是一个广泛收集和整理公共数据源的资源库，涵盖了从气候、经济、能源到生物学、物理学等多个领域的数据集。该数据集由GitHub用户caesar0301于2014年创建，旨在为研究人员、数据科学家和开发者提供一个便捷的平台，以获取高质量、多样化的公共数据。其核心研究问题在于如何有效地整合和分类来自不同领域的开放数据，以支持跨学科的研究和应用。该数据集的影响力不仅体现在其广泛的数据覆盖范围，还在于其为数据驱动的科学研究提供了坚实的基础，推动了开放数据运动的发展。
当前挑战
Awesome Public Datasets 面临的主要挑战包括数据集的多样性和复杂性。首先，不同领域的数据集在格式、结构和质量上存在显著差异，这给数据的整合和使用带来了困难。其次，尽管数据集数量庞大，但部分数据的更新频率较低，可能导致数据过时，影响研究的时效性。此外，数据集的构建过程中，如何确保数据的准确性和完整性也是一个重要挑战，尤其是在数据来源多样且分散的情况下。最后，尽管数据集多为公开资源，但部分数据的使用权限和许可协议可能限制了其广泛应用，特别是在商业和研究领域。
常用场景
经典使用场景
Awesome Public Datasets 数据集广泛应用于学术研究和工业界的数据分析项目中，尤其是在气候、经济、能源、金融、生物学等多个领域。研究者们利用这些数据集进行数据挖掘、模式识别和预测模型的构建，以解决复杂的科学问题。例如，气候数据集被用于全球变暖趋势的分析，而金融数据集则用于市场波动预测和投资策略优化。
解决学术问题
该数据集为学术界提供了丰富的数据资源，帮助研究者解决了许多关键问题。例如，在气候科学领域，研究者利用全球气候数据来分析气候变化趋势及其对生态系统的影响；在生物学领域，基因表达数据被用于研究疾病机制和药物开发。这些数据集不仅推动了基础科学的发展，还为跨学科研究提供了数据支持。
衍生相关工作
基于 Awesome Public Datasets 数据集，许多经典的研究工作得以展开。例如，Netflix Prize 竞赛利用电影评分数据集推动了推荐系统算法的进步；Kaggle 平台上的多个数据挑战赛也基于该数据集推动了机器学习模型的创新。此外，许多学术论文和开源项目也以这些数据集为基础，推动了数据科学领域的前沿研究。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com.cn
联系我们
youjian
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作