amazon-agi/RealKIE-FCC-Verified

---
language:
- en
pretty_name: RealKIE-FCC-Verified
size_categories:
- n<1K
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
dataset_info:
features:
- name: id
dtype: string
- name: image_files
list: string
- name: text
dtype: string
- name: json_schema
struct:
- name: type
dtype: string
- name: properties
struct:
- name: Agency
struct:
- name: type
dtype: string
- name: description
dtype: string
- name: Advertiser
struct:
- name: type
dtype: string
- name: description
dtype: string
- name: GrossTotal
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: PaymentTerms
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: AgencyCommission
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: NetAmountDue
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: LineItems
struct:
- name: type
dtype: string
- name: description
dtype: string
- name: items
struct:
- name: type
dtype: string
- name: properties
struct:
- name: LineItemRate
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: LineItemDays
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: LineItemStartDate
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: LineItemEndDate
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: LineItemDescription
struct:
- name: anyOf
list:
- name: type
dtype: string
- name: description
dtype: string
- name: required
list: string
- name: required
list: string
- name: json_response
struct:
- name: Agency
dtype: string
- name: Advertiser
dtype: string
- name: GrossTotal
dtype: float64
- name: PaymentTerms
dtype: string
- name: AgencyCommission
dtype: float64
- name: NetAmountDue
dtype: float64
- name: LineItems
list:
- name: LineItemDescription
dtype: string
- name: LineItemStartDate
dtype: string
- name: LineItemEndDate
dtype: string
- name: LineItemDays
dtype: string
- name: LineItemRate
dtype: float64
splits:
- name: test
num_bytes: 1276040
num_examples: 75
download_size: 393330
dataset_size: 1276040
license: cc-by-nc-4.0
license_name: cc-by-nc-4.0
license_link: https://creativecommons.org/licenses/by-nc/4.0/
---

### RealKIE-FCC-Verified
It is a test set with single and multi-page invoices sourced from the Federal Communications Commission (FCC) to evaluate key information extraction (KIE) performance.

### Task
Extract information from the document in JSON format given the corresponding JSON schema. It contains 75 documents, with:

a) `image_files`: Each document has multiple pages

b) `json_schema`: A common JSON schema requiring extraction of specified information including line items in the invoices

c) `json_response`: This is the expected output from the model

### Modifications to the original dataset
This release resolves two issues present in the original evaluation set (https://arxiv.org/abs/2403.20101):

a) Line Item Grouping: Fields previously treated as independent entries are now grouped within each individual line item, aligning the annotations with real-world invoice structure.

b) Annotation Corrections: Erroneous values in the original annotations have been corrected to ensure data accuracy.

These corrections are applied to `json_schema` and `json_response`.

Note: We haven't edited the OCR (`text`) field, and instead use the original version.

### License
```
Document Source: FCC https://publicfiles.fcc.gov/
Document License: Fair use under 17 USC 107.
License: CC-BY-NC 4.0
```

语言：
- 英语
官方名称：RealKIE-FCC-Verified
规模类别：样本量小于1000（n<1K）
配置项：
- 配置名称：default
数据文件：
- 数据集划分：测试集（test）
- 路径：data/test-*
数据集信息：
特征：
- 字段名：id，数据类型：字符串
- 字段名：image_files，类型：字符串列表
- 字段名：text，数据类型：字符串
- 字段名：json_schema，结构类型：
- 字段名：type，数据类型：字符串
- 字段名：properties，结构类型：
- 字段名：Agency，结构类型：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：Advertiser，结构类型：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：GrossTotal，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：PaymentTerms，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：AgencyCommission，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：NetAmountDue，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：LineItems，结构类型：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：items，结构类型：
- 字段名：type，数据类型：字符串
- 字段名：properties，结构类型：
- 字段名：LineItemRate，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：LineItemDays，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：LineItemStartDate，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：LineItemEndDate，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：LineItemDescription，结构类型：
- 字段名：anyOf，列表项：
- 字段名：type，数据类型：字符串
- 字段名：description，数据类型：字符串
- 字段名：required，类型：字符串列表
- 字段名：required，类型：字符串列表
- 字段名：json_response，结构类型：
- 字段名：Agency，数据类型：字符串
- 字段名：Advertiser，数据类型：字符串
- 字段名：GrossTotal，数据类型：64位浮点数
- 字段名：PaymentTerms，数据类型：字符串
- 字段名：AgencyCommission，数据类型：64位浮点数
- 字段名：NetAmountDue，数据类型：64位浮点数
- 字段名：LineItems，类型：列表，列表项：
- 字段名：LineItemDescription，数据类型：字符串
- 字段名：LineItemStartDate，数据类型：字符串
- 字段名：LineItemEndDate，数据类型：字符串
- 字段名：LineItemDays，数据类型：字符串
- 字段名：LineItemRate，数据类型：64位浮点数
数据集划分：
- 划分名称：测试集（test）
字节数：1276040
样本数量：75
下载大小：393330
数据集总大小：1276040
许可证：cc-by-nc-4.0
许可证名称：cc-by-nc-4.0
许可证链接：https://creativecommons.org/licenses/by-nc/4.0/

### RealKIE-FCC-Verified
该数据集为测试集，包含源自美国联邦通信委员会（Federal Communications Commission, FCC）的单页与多页发票，用于评估关键信息抽取（Key Information Extraction, KIE）模型的性能。

### 任务说明
根据给定的对应JSON模式（JSON schema），从文档中抽取指定信息并以JSON格式输出。本数据集共包含75份文档，各字段说明如下：
a) `image_files`：每份文档包含多个页面
b) `json_schema`：通用JSON模式，要求抽取发票中包含明细行项在内的全部指定信息
c) `json_response`：模型推理的预期输出结果

### 原始数据集修改说明
本版本修复了原始评估集（https://arxiv.org/abs/2403.20101）中存在的两处问题：
a) 明细行项分组优化：此前被单独视作独立条目的字段现已整合至各独立明细行项中，使标注格式与真实商业发票的结构保持一致。
b) 标注错误修正：修正了原始标注中的错误数值，以确保数据集的准确性。
上述修正已同步应用于`json_schema`与`json_response`两个字段。

注意：本版本未对OCR（光学字符识别）文本（`text`字段）进行任何修改，保留了原始版本的内容。

### 许可证声明

文档来源：美国联邦通信委员会（FCC）https://publicfiles.fcc.gov/
文档使用许可：符合美国法典第17编第107条规定的合理使用
数据集整体许可证：CC-BY-NC 4.0