Intuitive datasets: five-level data abstraction transformations

Intuitive Datasets: Five-Level Data Abstraction Transformations Overview This dataset collection demonstrates systematic transformations of open datasets across five levels of abstraction (L4→L0→L3), enabling users with different data literacy levels to access and understand complex data. The transformations implement a meta-design framework for creating "intuitive datasets" that adapt their complexity to user needs. Citation: If you use these datasets, please cite: 10.5281/zenodo.18174814 License: CC-BY-4.0 (Creative Commons Attribution 4.0 International) Related Code : https://github.com/ArthurSrz/intuitiveness Datasets Included This collection contains three complete dataset transformation cycles from the French open data platform (data.gouv.fr): test0_schools: French middle school performance indicators and student enrollment data test1_ademe: ADEME (French environmental agency) funding allocations test2_energy: Energy price data for gas tariffs in France Each dataset includes: raw/: iriginal L4 files (unlinkable multi-level datasets from data.gouv.fr) descent/: transformed files through L3 (linkable datasets), L2 (categorized table), L1 (feature vector), and L0 (atomic datum) ascent/: reconstructed datasets from L0 back to L3 with added analytic dimensions metadata/: transformation metadata, session exports, and join specifications Five-level abstraction framework The framework defines five levels of data abstraction: Level 4 (L4): Unlinkable multi-level datasets - Multiple disconnected CSV files with no apparent structure Level 3 (L3): Linkable multi-level datasets - Files connected through relationships, forming knowledge graphs Level 2 (L2): Single dataset with multiple entities and attributes - Categorized or filtered tables Level 1 (L1): Single entity or single attribute - Feature vectors or entity profiles Level 0 (L0): Atomic datum - Single entity-attribute-value triplet (e.g., "average school score: 12.5") Descent Phase (L4→L0) The descent progressively reduces complexity: L4→L3: Entity discovery and relationship detection to link disconnected files L3→L2: Domain isolation through semantic categorization L2→L1: Feature extraction to create vectors L1→L0: Aggregation to derive atomic metrics Ascent Phase (L0→L3) The ascent intentionally reconstructs complexity: L0→L1: Expand datum to feature vector with related attributes L1→L2: Add categorical dimensions (e.g., high/low performance) L2→L3: Add analytic dimensions to create multi-level structures File naming convention All files follow the pattern: `{dataset}_{level}_{description}.{ext}` Examples: test0_schools_L4_fr-en-college-effectifs-niveau-sexe-lv.csv - Original L4 raw file test0_schools_L3_joined_table.csv - Joined table at L3 test0_schools_L0_datum.json - Atomic datum at L0 test0_schools_ascent_L3_table.csv - Reconstructed L3 table during ascent Data Sources All datasets originate from data.gouv.fr, France's national open data platform: test0_schools : - College enrollment by level, gender, and language : https://www.data.gouv.fr/datasets/effectifs-deleves-par-niveau-sexe-langues-vivantes-1-et-2-les-plus-frequentes-par-college-date-dobservation-au-debut-du-mois-doctobre-chaque-annee - Middle school performance indicators : https://www.data.gouv.fr/datasets/indicateurs-de-valeur-ajoutee-des-colleges test1_ademe : - ADEME financial aid allocations : https://www.data.gouv.fr/datasets/les-aides-financieres-de-lademe-1 - ADEME list of funded projects : https://www.data.gouv.fr/datasets/couts-des-travaux-de-renovation-ecs test2_energy : - Regulated gas tariff price levels : https://www.data.gouv.fr/datasets/niveaux-de-prix-par-commune-pour-les-tarifs-reglementes-de-vente-de-gaz-naturel-dengie - French energy import/export : https://www.data.gouv.fr/datasets/imports-et-exports-commerciaux-2005-a-2021 Transformation methodology Transformations were performed using the `intuitiveness` Python package (v0.1.0) with the following dependencies: Python 3.11 pandas 2.x networkx 3.x sentence-transformers (multilingual-e5-small model) For detailed transformation logic, see the session export files in each dataset's `metadata/` folder. Reuse examples For data scientists Test data transformation algorithms across different complexity levels Benchmark complexity reduction metrics Validate semantic domain matching techniques Train machine learning models on multi-level data structures For open data platforms Implement multi-level data access features Design adaptive interfaces for users with varying data literacy Test complexity-aware search and navigation For educators Teach data literacy concepts through concrete examples Demonstrate descent-ascent transformation cycles Illustrate complexity management principles For researchers Study how data structure affects user comprehension Analyze relationship discovery patterns in open datasets Investigate semantic categorization effectiveness across domains Contact For questions, issues, or suggestions: [e-mail]直观数据集：五级数据抽象变换 ## 概述 本数据集集合展示了开放数据集在五级抽象层级（L4→L0→L3）下的系统性变换，可适配不同数据素养水平的用户访问与理解复杂数据。该变换实现了一套元设计框架，用于构建“直观数据集”，使其能够根据用户需求动态调整自身复杂度。 ## 引用 若使用本数据集，请引用：10.5281/zenodo.18174814 ## 许可协议 CC-BY-4.0（知识共享署名4.0国际许可协议） ## 相关代码 https://github.com/ArthurSrz/intuitiveness ## 包含的数据集 本集合包含来自法国开放数据平台data.gouv.fr的三套完整数据集变换循环： - test0_schools：法国中学绩效指标与学生入学数据 - test1_ademe：法国环境署（ADEME）资助拨款数据 - test2_energy：法国天然气关税能源价格数据 ### 单数据集结构 每个数据集均包含以下目录： - `raw/`：原始L4文件（data.gouv.fr上的不可关联多级数据集） - `descent/`：经L3（可关联数据集）、L2（分类表）、L1（特征向量）、L0（原子数据）层级变换得到的文件 - `ascent/`：从L0逆向重构至L3的数据集，并新增分析维度 - `metadata/`：变换元数据、会话导出文件与关联规范 ## 五级抽象框架 本框架定义了五级数据抽象层级： 1. **L4（层级4）**：不可关联多级数据集——多个无明确结构的断开式CSV文件 2. **L3（层级3）**：可关联多级数据集——通过关联关系连接形成知识图谱的文件集合 3. **L2（层级2）**：包含多实体与多属性的单数据集——经分类或筛选的结构化表格 4. **L1（层级1）**：单实体或单属性——特征向量或实体概览 5. **L0（层级0）**：原子数据——单实体-属性-值三元组（例如“平均学校得分：12.5”） ## 降维阶段（L4→L0） 该阶段逐步降低数据复杂度： - L4→L3：实体发现与关系检测，用于连接断开的原始文件 - L3→L2：通过语义分类实现领域隔离 - L2→L1：特征提取以生成标准化向量 - L1→L0：聚合操作以推导原子指标 ## 升维阶段（L0→L3） 该阶段有意重构数据复杂度： - L0→L1：将原子数据扩展为包含相关属性的特征向量 - L1→L2：添加分类维度（例如“高/低绩效”） - L2→L3：添加分析维度以构建多级数据结构 ## 文件命名规范 所有文件均遵循格式：`{dataset}_{level}_{description}.{ext}` 示例： - `test0_schools_L4_fr-en-college-effectifs-niveau-sexe-lv.csv`：原始L4格式文件 - `test0_schools_L3_joined_table.csv`：L3层级关联表格 - `test0_schools_L0_datum.json`：L0层级原子数据文件 - `test0_schools_ascent_L3_table.csv`：升维阶段重构的L3层级表格 ## 数据来源 所有数据集均源自法国国家开放数据平台data.gouv.fr： 1. test0_schools： - 按层级、性别与语言划分的中学入学人数：https://www.data.gouv.fr/datasets/effectifs-deleves-par-niveau-sexe-langues-vivantes-1-et-2-les-plus-frequentes-par-college-date-dobservation-au-debut-du-mois-doctobre-chaque-annee - 中学绩效指标：https://www.data.gouv.fr/datasets/indicateurs-de-valeur-ajoutee-des-colleges 2. test1_ademe： - ADEME财政资助拨款：https://www.data.gouv.fr/datasets/les-aides-financieres-de-lademe-1 - ADEME资助项目列表：https://www.data.gouv.fr/datasets/couts-des-travaux-de-renovation-ecs 3. test2_energy： - 法国城镇管制天然气关税价格层级：https://www.data.gouv.fr/datasets/niveaux-de-prix-par-commune-pour-les-tarifs-reglementes-de-vente-de-gaz-naturel-dengie - 法国2005-2021年能源进出口数据：https://www.data.gouv.fr/datasets/imports-et-exports-commerciaux-2005-a-2021 ## 变换方法 本次变换使用`intuitiveness` Python包（v0.1.0）完成，依赖项如下： - Python 3.11 - pandas 2.x - networkx 3.x - sentence-transformers（multilingual-e5-small 模型） 如需了解详细变换逻辑，请参阅各数据集`metadata/`目录下的会话导出文件。 ## 复用场景示例 ### 面向数据科学家 - 在不同复杂度层级下测试数据变换算法 - 基准测试复杂度缩减指标 - 验证语义领域匹配技术 - 在多级数据结构上训练机器学习模型 ### 面向开放数据平台 - 实现多级数据访问功能 - 为不同数据素养水平的用户设计自适应交互界面 - 测试基于复杂度感知的搜索与导航功能 ### 面向教育工作者 - 通过具体示例讲授数据素养概念 - 演示降维-升维变换循环 - 阐释复杂度管理原则 ### 面向研究人员 - 研究数据结构对用户理解的影响 - 分析开放数据集中的关系发现模式 - 跨领域调研语义分类的有效性 ## 联系方式 如有疑问、问题或建议，请联系：[e-mail]