Customs Import Declaration Datasets

本数据集由韩国科学技术院创建，包含54,000条人工合成的进口申报数据，涉及22个关键属性。数据集通过条件表格GAN合成，保持了特征间的相关性。该数据集解决了原始进口数据无法公开的问题，同时保持了与源数据相似的分布，适用于多种下游任务，如分类算法性能测试。此外，数据集还被用于教育目的，如世界海关组织的高级数据分析课程，以及大学间的欺诈检测算法竞赛，旨在提升数据分析技能，促进海关领域的研究与创新。

This dataset was developed by the Korea Advanced Institute of Science and Technology (KAIST). It encompasses 54,000 synthetic import declaration records with 22 key attributes. Generated via Conditional Tabular GAN, the dataset preserves the correlations between features. This work addresses the challenge of non-publicly available original import data, while maintaining a distribution similar to that of the source dataset, making it applicable to various downstream tasks such as classification algorithm performance testing. Additionally, the dataset has been utilized for educational purposes, including advanced data analysis courses offered by the World Customs Organization (WCO) and inter-university fraud detection algorithm competitions, aiming to enhance data analysis skills and promote research and innovation in the customs field.

搜集汇总

数据集介绍

构建方式

该数据集源自韩国海关服务署在2020年1月至2021年6月期间收集的2470万条进口申报记录，仅选取其中经过实地查验并标注结果的部分作为源数据。为保护敏感信息，对进口商名称等可识别信息进行匿名化处理，并对商品价格添加高斯噪声。随后，采用条件表格生成对抗网络（CTGAN）对预处理后的数据进行合成，模型训练300个周期。为维持属性间的相关性，如HS编码与税率之间的依赖关系，在生成前将高度关联的列聚合为单一字段，生成后再拆分还原。最终生成包含54000条合成交易记录、涵盖22个关键属性的数据集。

特点

该数据集的核心优势在于其合成属性带来的隐私安全性与数据实用性之间的精妙平衡。所有记录均为人工生成，不存在与源数据完全相同的行，彻底消除了身份识别风险。同时，通过统计检验验证，合成数据在列分布、属性间相关性、数值边界覆盖及多样性等维度上与真实数据高度相似，例如数值列的Kolmogorov-Smirnov相似度达0.8268，分类列的总体变异距离相似度为0.8919。此外，数据集保留了欺诈标签（二分类）和严重欺诈标签（三分类），为异常检测任务提供了基准真值。

使用方法

该数据集主要作为海关欺诈检测算法的公开基准使用。使用时，可将数据按时间顺序分割：前12个月用于训练，随后3个月用于验证，最后3个月用于测试。分类变量采用标签编码，数值变量进行最小-最大缩放。研究者可基于欺诈标签构建二分类模型，评估指标采用精确率@n%，即对预测欺诈得分最高的前n%货物进行查验的准确率。实验表明，梯度提升决策树模型（如LightGBM、XGBoost）在此数据集上表现优异，且特征重要性趋势与真实数据一致，验证了其作为算法比较工具的有效性。

背景与挑战

背景概述

在全球贸易规模持续膨胀的背景下，跨境商品流动的管控对于防范非法贸易、保障社会安全具有举足轻重的意义。然而，交易级贸易数据的高度敏感性导致其公开获取极为受限，海关管理部门难以充分受益于数据驱动的风险管理技术革新。为弥合这一鸿沟，韩国科学技术院（KAIST）与光州科学技术院（GIST）的研究人员联合韩国海关服务署，于2023年推出了海关进口申报数据集（Customs Import Declaration Datasets）。该数据集通过条件表格生成对抗网络（CTGAN）合成了54,000条包含22个关键属性的交易记录，旨在为数据科学和机器学习领域的研究者提供一个可公开获取的基准，从而推动海关欺诈检测等下游任务的发展。该成果发表于KDD'23 Workshop，其发布不仅突破了原始数据保密性的桎梏，更为跨学科合作搭建了桥梁，对海关领域的智能化转型产生了深远影响。

当前挑战

该数据集所应对的核心挑战源自海关欺诈检测领域长期存在的困境：一方面，真实进口申报数据因涉及商业机密与国家安全，受严格法规约束无法对外公开，导致学术界与工业界难以基于真实数据进行算法研发与性能比较，限制了数据科学在海关风险管控中的深度应用。另一方面，在数据集构建过程中，研究者面临多重技术挑战。首先，需在保护隐私的前提下生成高保真度的合成数据，这要求生成模型不仅能复现原始数据的分布特征，还需维持多模态属性间的复杂关联性，例如商品编码、原产国与税率之间的依存关系。其次，原始数据存在标签稀疏、类别不平衡等问题，尤其是关键欺诈样本占比极低，这给合成数据的质量评估与下游任务的有效性带来了严峻考验。此外，如何通过匿名化与噪声注入等预处理手段彻底消除身份重识别风险，同时确保合成数据的多样性与实用性，亦是构建过程中必须攻克的关键难题。

常用场景

经典使用场景

在全球贸易规模持续膨胀的背景下，海关部门面临日益复杂的监管挑战，而交易级贸易数据的稀缺性长期制约着数据驱动型风险管理的进展。Customs Import Declaration Datasets 作为首个公开可用的合成进口报关数据集，为跨境贸易研究提供了标准化的基准平台。其最经典的使用场景在于训练和评估机器学习模型以识别欺诈性进口申报。通过模拟真实报关单中的22个关键属性，包括申报人信息、商品编码、价格、重量及原产地等，该数据集支持研究者构建分类算法，从海量申报中精准筛选出存在逃税、走私或虚假申报嫌疑的高风险货物，从而优化海关有限资源的分配效率。

解决学术问题

该数据集的核心贡献在于破解了海关数据因保密性而无法公开的学术壁垒，为数据科学领域提供了可复现的欺诈检测研究基准。它解决了长期困扰研究者的两大难题：一是真实海关数据涉及国家安全与商业机密，难以获取；二是不同算法在真实场景下的性能对比缺乏公平的参照系。通过条件表格生成对抗网络（CTGAN）合成的数据既保留了原始数据的分布特征与属性关联，又消除了隐私泄露风险，使得研究者能够客观评估逻辑回归、随机森林、梯度提升树等模型在欺诈识别任务中的表现，并验证了先进集成方法（如LightGBM、XGBoost）在低查验率设定下的显著优势，从而推动了海关风险管理领域从经验规则向智能算法的范式转变。

衍生相关工作

该数据集的发布催生了一系列具有影响力的衍生研究。在欺诈检测领域，研究者基于其基准特性开发了DATE（Dual Attentive Tree-Aware Embedding）模型，通过融合树模型与注意力机制显著提升了异常申报的识别能力；而GraphFC则利用图神经网络处理标签稀疏问题，进一步拓展了半监督学习在海关场景的适用性。在数据合成方向，该工作验证了CTGAN在保持多模态表格数据属性关联方面的优越性，并启发了后续针对时间序列与扩散模型的探索。此外，HS编码自动分类、贸易主体行为分析及概念漂移下的欺诈检测等任务均以此为起点展开，形成了围绕海关数据科学的研究生态，有力促进了跨学科协作与知识共享。