Adult Census Income dataset

该数据集由UCI机器学习库提供，包含个人的 demographic 信息及其收入水平。

This dataset is provided by the UCI Machine Learning Repository and contains demographic information and income levels of individuals.

原始信息汇总

数据集概述

数据集信息

• 名称: Adult Census Income dataset
• 来源: UCI Machine Learning Repository
• 描述: 包含个人的人口统计信息及其收入水平。

项目概述

• 目的: 分析Adult Census Income数据集，使用Logistic Regression构建收入分类预测模型。
• 功能:
  • 数据概览
  • 可视化
  • 预测
  • 与数据集交互聊天

功能详情

1. 数据概览

• 操作: 插入adult.csv数据集
• 内容:
  • 数据结构探索
  • 摘要统计
  • 缺失值
  • 每个特征的唯一值计数

2. 可视化

• 类型:
  • 相关性热图
  • 收入分布图（按工作类别、职业、婚姻状况、性别、种族和教育水平）
  • 年龄分布图（按收入）
  • 工作类别分布饼图
  • 数值特征的直方图和箱线图

3. 预测

• 输入: 年龄、教育、工作小时数、婚姻状况、工作类别、职业、关系、种族、性别、原籍国
• 输出: 收入预测

4. 与数据集交互聊天

• 功能: 使用自然语言交互查询数据集，获取答案和可视化结果

系统要求

• Python包:
  • streamlit
  • pandas
  • numpy
  • matplotlib
  • seaborn
  • scikit-learn
  • pandasai
  • langchain_community
  • python-dotenv
  • google-generativeai

安装与运行

• 安装:
  • 克隆仓库
  • 安装依赖包
• 运行: 执行streamlit run app.py

示例查询

• 列出数据集中最常见的5个原籍国
• 根据婚姻状况计算个人的平均年龄
• 显示拥有私人工作、每周工作35小时且为女性的最年长5人
• 显示不同种族的收入分布
• 计算在州政府工作的人的百分比
• 比较所有性别的收入分布
• 男性或女性平均每周工作时间更长，这与他们的收入水平有何关联？
• 显示每周工作99小时的5名男性的年龄、工作类别、职业和收入
• 每个关系类别（如丈夫、妻子等）中有多少人？

注意事项

• API可靠性: "与数据集交互聊天"功能依赖于GenAI API，可能会有停机或中断。
• LangChain弃用: 应用程序使用LangChain进行语言模型集成，未来可能会有变化或弃用。

搜集汇总

数据集介绍

构建方式

Adult Census Income数据集由UCI机器学习库提供，包含了关于个人的详细人口统计信息及其收入水平。该数据集的构建基于美国人口普查数据，旨在通过多种人口统计特征来预测个人的收入是否超过50,000美元。数据集的特征包括年龄、教育程度、职业、婚姻状况、性别、种族等，这些特征被精心选择以反映与收入相关的关键因素。

特点

Adult Census Income数据集的特点在于其丰富的特征集和广泛的应用领域。数据集不仅包含了多种分类和数值特征，还提供了详细的收入标签，使其成为机器学习和数据分析的理想选择。此外，数据集的多样性和代表性使其能够广泛应用于社会经济研究、政策制定和教育等领域。

使用方法

使用Adult Census Income数据集时，用户可以通过导入'adult.csv'文件来访问数据。数据集支持多种分析和可视化工具，包括相关性热图、分布图和预测模型。用户可以通过自然语言查询与数据集进行交互，获取特定问题的答案和可视化结果。此外，数据集还支持下载查询结果为CSV文件，便于进一步分析和处理。

背景与挑战

背景概述

Adult Census Income数据集，源自UCI机器学习库，是一个公开的、包含个人人口统计信息及其收入水平的数据集。该数据集由Intel主导的研究项目使用，旨在通过逻辑回归模型预测收入分类，并提供数据可视化和交互式查询接口。这一数据集的创建和应用，为社会经济研究提供了宝贵的资源，尤其是在探索不同人口统计特征与收入水平之间的关系方面，具有显著的影响力。

当前挑战

Adult Census Income数据集在构建和应用过程中面临多重挑战。首先，数据集包含大量的人口统计信息，如何有效地处理和分析这些信息以提取有价值的见解是一个主要挑战。其次，数据集中可能存在缺失值和异常值，这需要精细的数据清洗和预处理技术。此外，构建预测模型时，如何处理类别不平衡问题，确保模型的准确性和鲁棒性，也是一个重要的挑战。最后，依赖于GenAI API和LangChain的交互式查询功能，其稳定性和未来兼容性也需要持续关注和维护。

常用场景

经典使用场景

Adult Census Income数据集的经典使用场景主要集中在收入预测模型的构建与分析。通过该数据集，研究者可以探索不同人口统计特征与收入水平之间的关系，利用逻辑回归等机器学习算法构建预测模型。此外，数据集还支持数据可视化，帮助用户直观理解各特征对收入的影响，从而为政策制定和人力资源管理提供科学依据。

解决学术问题

Adult Census Income数据集解决了社会科学和经济学领域中关于收入不平等和劳动力市场分析的常见学术问题。通过分析不同人口统计特征与收入水平的关系，研究者可以深入探讨社会经济因素对个人收入的影响，为收入分配不均、教育与职业选择等社会问题提供量化分析基础。这一数据集的应用有助于推动相关领域的理论研究和政策制定。

衍生相关工作

基于Adult Census Income数据集，衍生了许多经典的工作，包括收入预测模型的优化、特征选择与降维技术的应用，以及数据可视化工具的开发。这些工作不仅提升了模型的预测准确性，还为数据分析提供了更丰富的视角。此外，数据集的交互式查询功能也激发了自然语言处理与数据科学结合的研究，推动了智能数据分析工具的发展。