five

California Housing|住房数据数据集|人口普查分析数据集

收藏
github2023-12-10 更新2024-05-31 收录
住房数据
人口普查分析
下载链接:
https://github.com/Abdelrahman898/e2e_ml_project
下载链接
链接失效反馈
资源简介:
该数据集是加州住房数据集的一个修改版本,源自Luís Torgo的页面(波尔图大学)。数据集最初来自现已关闭的StatLib存储库,也可以从StatLib镜像下载。该数据集基于1990年美国人口普查数据构建,每行代表一个人口普查区块组。数据集包含经纬度、住房中位年龄、总房间数、总卧室数、人口、家庭数、收入中位数、房屋价值中位数和海洋接近度等属性。

This dataset is a modified version of the California Housing Dataset, originally sourced from Luís Torgo's page at the University of Porto. The dataset was initially obtained from the now-defunct StatLib repository and is also available for download from StatLib mirrors. Constructed based on the 1990 U.S. Census data, each row in the dataset represents a census block group. It includes attributes such as latitude, longitude, median age of housing, total number of rooms, total number of bedrooms, population, number of households, median income, median house value, and proximity to the ocean.
创建时间:
2023-05-14
原始信息汇总

California Housing 数据集概述

数据来源

  • 该数据集是加州住房数据集的一个修改版本,原始数据集来自Luís Torgo的页面(波尔图大学),最初从StatLib库获取。
  • 数据集基于1990年加州人口普查数据构建,每行代表一个普查区块组。

数据调整

  • total_bedrooms列中随机移除了207个值,用于讨论缺失数据的处理。
  • 新增了一个分类属性ocean_proximity,用于描述区块组与海洋的相对位置。

数据描述

  • 属性列表

    • longitude:经度
    • latitude:纬度
    • housing_median_age:住房中位年龄
    • total_rooms:总房间数
    • total_bedrooms:总卧室数
    • population:人口
    • households:家庭数
    • median_income:收入中位数
    • median_house_value:住房价值中位数
    • ocean_proximity:与海洋的相对位置
  • ocean_proximity分类统计

    • <1H OCEAN:9136
    • INLAND:6551
    • NEAR OCEAN:2658
    • NEAR BAY:2290
    • ISLAND:5

数据集特点

  • 数据集包含地理和住房相关的多种属性,特别关注住房价值和地理位置的关系。
AI搜集汇总
数据集介绍
main_image_url
构建方式
California Housing数据集基于1990年加利福尼亚州人口普查数据构建,最初由Pace和Barry在1997年的研究中提出。该数据集以人口普查区块组为单位,每个区块组代表一个地理单元,通常包含600至3,000人。数据集经过修改,删除了部分total_bedrooms列的数据,并添加了一个名为ocean_proximity的分类属性,用于描述区块组与海洋的相对位置关系。
特点
该数据集包含20,640个样本,涵盖了经度、纬度、房屋中位年龄、总房间数、总卧室数、人口、家庭数量、收入中位数和房屋价值中位数等特征。其中,total_bedrooms列存在207个缺失值,ocean_proximity列则提供了区块组与海洋的接近程度分类,包括近海、近湾区、内陆和岛屿等类别。这些特征使得数据集适用于探索空间自回归、缺失数据处理以及分类数据分析等任务。
使用方法
使用该数据集时,可通过Python环境加载数据,并利用pandas等工具进行数据探索和预处理。数据集适用于回归分析、分类任务以及地理空间分析。用户可以通过分析房屋价值与地理位置、收入等因素的关系,构建预测模型。此外,数据集中的缺失值和分类特征为数据清洗和特征工程提供了实践机会。建议在虚拟环境中安装依赖库,以确保代码的可重复性和环境隔离。
背景与挑战
背景概述
California Housing数据集源自1997年Pace, R. Kelley和Ronald Barry在《Statistics and Probability Letters》期刊上发表的论文《Sparse Spatial Autoregressions》。该数据集基于1990年加利福尼亚州的人口普查数据构建,旨在研究空间自回归模型在房价预测中的应用。数据集中的每一行代表一个普查区块组,这是美国人口普查局发布样本数据的最小地理单位。该数据集不仅为空间统计学研究提供了重要参考,还为机器学习领域中的回归分析和特征工程提供了丰富的实验数据。其影响力延伸至房地产经济学、城市规划以及机器学习模型的开发与验证。
当前挑战
California Housing数据集在应用过程中面临多重挑战。首先,数据集中存在缺失值,例如total_bedrooms列中有207个随机缺失值,这要求研究者开发有效的数据填补策略。其次,新增的ocean_proximity分类属性虽然为地理位置分析提供了便利,但也引入了如何处理分类数据的挑战,尤其是在模型训练中如何将其有效编码为数值特征。此外,数据集的规模虽适中,但其空间特性(如经纬度)和多元特征(如收入、人口密度)使得模型设计复杂化,如何在保持模型简洁性的同时捕捉空间依赖性成为一大难题。这些挑战不仅考验数据处理能力,也对模型的泛化性能提出了更高要求。
常用场景
经典使用场景
California Housing数据集广泛应用于房地产市场的预测与分析,特别是在地理信息系统(GIS)和空间数据分析领域。研究者利用该数据集中的地理坐标、房屋中位年龄、房间总数等特征,构建模型预测加州不同地区的房价。此外,数据集中的海洋接近度分类变量为研究地理因素对房价的影响提供了重要依据。
解决学术问题
该数据集为解决空间自回归模型中的稀疏性问题提供了实验基础。通过分析加州不同地区的房价分布,研究者能够探讨地理因素、人口密度和经济收入对房价的影响机制。此外,数据集中的缺失值设计为处理不完整数据的学术研究提供了实践场景,推动了数据填补和插值方法的发展。
衍生相关工作
基于California Housing数据集,许多经典研究工作得以展开。例如,研究者开发了多种机器学习模型,如线性回归、决策树和随机森林,用于房价预测。此外,该数据集还催生了关于空间数据分析的新方法,如地理加权回归(GWR)和空间滞后模型,这些方法在经济学和地理学领域得到了广泛应用。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国区域交通网络数据集

该数据集包含中国各区域的交通网络信息,包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。

data.stats.gov.cn 收录

Materials Project

材料项目是一组标有不同属性的化合物。数据集链接: MP 2018.6.1(69,239 个材料) MP 2019.4.1(133,420 个材料)

OpenDataLab 收录

RFUAV

RFUAV数据集是由浙江科技大学信息科学与工程学院开发的高质量原始射频数据集,包含37种不同无人机的约1.3 TB原始频率数据。该数据集旨在解决现有无人机检测数据集类型单一、数据量不足、信号-to-噪声比(SNR)范围有限等问题,提供了丰富的SNR级别和用于特征提取的基准预处理方法及模型评估工具。数据集适用于射频无人机检测和识别,有助于推动相关技术的研究与应用。

arXiv 收录

中国区域地面气象要素驱动数据集 v2.0(1951-2020)

中国区域地面气象要素驱动数据集(China Meteorological Forcing Data,以下简称 CMFD)是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素,时间分辨率为 3 小时,水平空间分辨率为 0.1°,时间长度为 70 年(1951~2020 年),覆盖了 70°E~140°E,15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据,并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品,其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展,其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本,而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集,但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外,在制作 CMFD 2.0 的过程中,研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息,显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时,CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年,并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同,但其有效数据扩展到了中国之外,能够更好地支持跨境区域研究。为方便用户使用,CMFD 2.0 还在基础变量集之外提供了若干衍生变量,包括近地面相对湿度、雨雪分离降水产品等。此外,CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术,转而直接将实型数据压缩存储于 NetCDF4 格式文件中,从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7,但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变,故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致,仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新,以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中,计划于 2025 年上半年发布,从而使 CMFD 2.0 延伸至 2024 年底。

国家青藏高原科学数据中心 收录

HyperGlobal-450K - 全球最大规模高光谱图像数据集

HyperGlobal-450K数据集由武汉大学联合国内外多所知名高校及研究机构共同构建,是迄今为止全球规模最大的高光谱图像数据集。该数据集包含约45万张高光谱图像,规模等价于超过2000万张不重叠的三波段图像,远超现有的同类数据集。数据集涵盖了全球范围内的高光谱遥感图像,包括来自地球观测一号(EO-1)Hyperion和高分五号(GF-5B)两种传感器的图像,光谱范围从可见光到短波及中波红外,具有从紫外到长波红外的330个光谱波段,空间分辨率为30米。每幅图像经过精心处理,去除了无效波段和水汽吸收波段,保留了具有实际应用价值的光谱信息。HyperGlobal-450K数据集不仅支持高光谱图像的基础研究,还能够用于开发和测试各种高光谱图像处理方法,比如图像分类、目标检测、异常检测、变化检测、光谱解混、图像去噪和超分辨率等任务。

github 收录