atana-data

这是一个开放数据仓库，专注于拉丁美洲创意经济，包含巴西和拉丁美洲文化创意经济的精选、版本化数据集，以Apache Parquet格式存储，涵盖UNCTAD、IBGE、MinC SALIC和LexML等多个来源的数据。This is an open data repository focused on the creative economy of Latin America. It contains curated and versioned datasets covering the cultural and creative economies of Brazil and the broader Latin American region, stored in Apache Parquet format, and includes data from multiple sources such as UNCTAD, IBGE, MinC SALIC, and LexML.

原始信息汇总

数据集概述：atana-data

atana-data 是一个开放数据仓库，服务于 Atana 研究实践项目，旨在为拉丁美洲创意经济领域提供基于证据的 AI 政策支持。该仓库托管了以 Apache Parquet 格式组织的、经过整理和版本控制的数据集，涵盖巴西及拉丁美洲的文化与创意经济，是 atana.studio 及其 Atana Index 系列分析内容的源头数据。

数据内容与结构

仓库内容按文件夹组织如下：

文件夹	内容
raw/	源数据，轻度归一化为 Parquet 格式（每个数据源一个子文件夹）
curated/	衍生数据集，直接用于已发布的分析（即分析快照）
etl/	从原始来源（如 xlsx、API、JSONL）生成 Parquet 文件的脚本
docs/	所有数据表的清单、命名规范和方法说明

原始数据源 (raw/)

数据源	包含表格	覆盖范围	状态
unctad/	4 张表（商品价值、商品增长、服务国家、服务区域）	全球，1995–2024（服务自 2005 年起）	✅ 已上线（MotherDuck 可用）
ibge_pnadc/	15 张表（Tabela 6.1a – 6.17）	巴西，2014–2024（年度）	🚧 第二阶段
ibge_comex/	4 张表（Tabela 10.1–10.4）	巴西文化对外贸易，2014–2024	🚧 第二阶段
salic/	项目 + 关联数据（Lei Rouanet）	巴西，2019–2026，约 26000 个项目	🚧 第二阶段
lexml/	立法语料库（创意经济）	巴西，1998–2026，269 项法案	🚧 第二阶段

完整的数据表目录、列信息及来源，请参阅 docs/manifest.md。

数据使用方式

• 本地查询（DuckDB）：可直接通过 GitHub 链接读取 Parquet 文件。例如： 查询 UNCTAD 数据中 2024 年巴西在服务贸易方面的信息。
• 云端查询（MotherDuck）：所有数据集已镜像至 md:atana 数据库，可按模式（schema）组织查询。需申请只读令牌，详见（即将推出的）数据访问政策。
• Python 查询：通过 DuckDB 的 Python 接口读取 GitHub 上的 Parquet 文件或连接 MotherDuck 查询。

许可证与引用

• 数据：采用 Creative Commons Attribution 4.0 International (CC BY 4.0) 许可，允许共享和改编，需注明出处。
• 底层源数据各有其许可：
  • UNCTADstat：开放数据，建议引用。
  • IBGE Informações Culturais (SIIC)：开放数据，公共领域。
  • MinC SALIC API：公共、开放。
  • Senado Federal LexML：公共、开放。
• 代码（ETL 脚本）：采用 MIT 许可。

引用格式：

Roquer, J. (2026). atana-data: Open data on creative economies in Latin America. Atana Research. https://github.com/joaoroquedasilvajunior/atana-data

各原始数据源的引用字符串可查阅 docs/citations.md。

联系信息

• João Roquer — [e-mail]
• Atana — atana.studio（建设中）

搜集汇总

数据集介绍

构建方式

atana-data数据集的构建源于对拉丁美洲创意经济循证政策研究的系统性需求。项目以Apache Parquet格式为核心，将原始数据从多种异构来源（包括UNCTADstat、IBGE、SALIC API及LexML等）进行轻量归一化转换，形成`raw/`原始层。随后通过`etl/`目录下的脚本对这些原始数据进行深度清洗、整合与衍生计算，生成`curated/`策展层数据集，作为学术分析与可视化发布的可靠上游真理源。所有数据均附带详细的`docs/`文档说明其命名规则与方法论。

特点

该数据集具有鲜明的结构化与可重现性特征。所有数据均以高性能列式存储的Parquet格式存储，显著提升查询与IO效率，并支持通过MotherDuck云端数据库实现跨源联合分析。数据集严格划分原始层与策展层，确保分析流程的透明性与可追溯性。覆盖范围上，数据不仅囊括全球视角下联合国贸发会议的贸易服务指标，还深入巴西本土的PNAdC、Comex及文化项目（SALIC）与立法语料（LexML），形成多层次、宽视野的创意经济图景。

使用方法

用户可通过多种高效路径访问数据。本地环境下，推荐安装DuckDB命令行工具，直接针对GitHub上的Parquet文件执行SQL查询；亦可借助MotherDuck数据库，使用SQL语法在云端进行高速跨表联合分析。Python用户则可利用duckdb库建立连接，通过SQL语句将Parquet数据一键转换为Pandas DataFrame，便于后续分析与建模。所有数据集均采用CC BY 4.0许可协议，鼓励在学术研究中引用原始出处进行传播与演绎。

背景与挑战

背景概述

在拉丁美洲，创意经济作为推动文化繁荣与经济增长的关键引擎，其发展亟需坚实的数据基础与循证政策支持。atana-data数据集由João Roquer及其团队于研究与实践中创建，旨在填补该区域创意经济领域系统性开放数据的空白。该数据集整合了联合国贸发会议、巴西地理与统计研究所等权威来源的贸易、劳动力及文化项目数据，覆盖1995年至2026年间的多维指标，为分析拉丁美洲创意经济的规模、结构及政策影响提供了上游真实数据源。其发布在Atana研究框架下，不仅支撑了atana.studio上的系列分析，更致力于促进跨学科、跨国界的循证政策讨论，对推动拉丁美洲创意经济的透明化与科学化决策具有深远意义。

当前挑战

atana-data数据集面临的核心挑战在于所解决的领域问题与构建过程的双重复杂性。领域层面，拉丁美洲创意经济的数据碎片化与标准不一，导致难以进行跨区域、跨时间的一致度量，即便数据集整合了多源异构数据，仍需应对定义模糊、统计口径差异等根本性障碍。构建过程中，数据集的ETL流程需处理从API、Excel及JSONL等多种格式向Apache Parquet的高效转换，同时保障版本追溯与数据血缘的清晰性；此外，部分子数据集如IBGE PNADC与SALIC尚在进展中，确保数据的适时更新与完整性成为持续挑战。许可证的兼容性管理、原始数据源的引用规范，以及面向多元使用者的可访问性设计，进一步增加了数据治理的复杂度。

常用场景

经典使用场景

在拉丁美洲创意经济研究领域，atana-data数据集最经典的使用场景是构建基于证据的文化与创意经济政策分析框架。通过整合联合国贸易和发展会议（UNCTAD）的全球贸易数据、巴西地理与统计研究所（IBGE）的文化信息面板以及SALIC公共投资数据，研究者可以系统性地分析巴西及拉丁美洲国家的创意产品与服务贸易趋势、劳动力市场结构及公共政策效果。该数据集的原始格式采用高效互通的Parquet格式，并支持通过DuckDB或Python环境进行跨源联合查询，极大地降低了多源异构数据清洗与整合的门槛，从而为政策制定者提供量化的决策支持。

解决学术问题

该数据集深刻回应了拉丁美洲创意经济研究中长期存在的数据碎片化与可比性缺失问题。过去，创意产业的宏观分析受困于各国统计口径不一、数据更新滞后且缺乏统一开放的数据库，导致跨国比较与长期趋势分析举步维艰。atana-data通过系统性的ETL流程，将来自UNCTAD、IBGE、SALIC及LexML等权威来源的数据标准化并版本化发布，首次实现了1995年至2024年间全球创意商品贸易、巴西国内文化就业及文化立法时序数据的无缝对接。这一核心突破使学者得以从宏观经济学、劳动经济学及文化政策学等多个维度，开展跨国家、跨时间段的因果推断研究，填补了拉丁美洲区域创意经济实证研究的空白，并有力推动了该领域的计量分析范式转向。

衍生相关工作

基于atana-data衍生了一系列具有标杆意义的学术与实践工作。核心成果包括已发布的Atana Index系列报告，该系列开创性地构建了拉丁美洲创意经济健康度评估指标体系，将贸易绩效、就业质量与立法环境三个维度融合为综合指数，为跨区域比较提供了可复制的分析框架。在方法论层面，ETL脚本中针对SALIC公共投资网络构建的图数据库模型，催生了关于巴西文化资助网络结构洞与权力分布的网络分析研究。此外，LexML立法语料库与贸易数据的关联分析，启发了关于创意经济政策工具有效性评估的准实验研究设计，这些工作共同推动了拉丁美洲创意经济研究从描述性统计向因果推断的范式跨越。