TheTokenFactory/sec-contracts-corrective-extraction

--- license: cc-by-4.0 task_categories: - text-generation - token-classification language: - en tags: - finance - financial-nlp - sec-filings - sec-edgar - structured-extraction - information-extraction - instruction-tuning - fine-tuning - sharegpt - alpaca - chatml - corrective-training - hard-negatives - executive-compensation - proxy-statements - def-14a - json-extraction - sp500 - nlp dataset_info: - config_name: sharegpt features: - name: conversations list: - name: from dtype: string - name: value dtype: string - name: metadata struct: - name: source_file dtype: string - name: chunk_type dtype: string - name: task_type dtype: string - name: company dtype: string - name: ticker dtype: string - name: pipeline dtype: string - name: model_version dtype: string - name: iteration dtype: string - name: confidence_min dtype: float64 - name: example_type dtype: string - name: negative_reason dtype: string - name: drops_count dtype: int64 - name: rescued_count dtype: int64 - name: rescue_gates dtype: string - name: has_noncanonical_term_type dtype: bool - name: has_noncanonical_covenant_type dtype: bool - name: has_noncanonical_comp_type dtype: bool - name: has_dollar_on_shares dtype: bool - name: has_bare_share_count dtype: bool - config_name: alpaca features: - name: instruction dtype: string - name: input dtype: string - name: output dtype: string - name: metadata struct: - name: source_file dtype: string - name: chunk_type dtype: string - name: task_type dtype: string - name: company dtype: string - name: ticker dtype: string - name: pipeline dtype: string - name: model_version dtype: string - name: iteration dtype: string - name: confidence_min dtype: float64 - name: example_type dtype: string - name: negative_reason dtype: string - name: drops_count dtype: int64 - name: rescued_count dtype: int64 - name: rescue_gates dtype: string - name: has_noncanonical_term_type dtype: bool - name: has_noncanonical_covenant_type dtype: bool - name: has_noncanonical_comp_type dtype: bool - name: has_dollar_on_shares dtype: bool - name: has_bare_share_count dtype: bool - config_name: openai features: - name: messages list: - name: role dtype: string - name: content dtype: string configs: - config_name: sharegpt default: true data_files: - split: train path: "data/sharegpt_corrective.jsonl" - config_name: alpaca data_files: - split: train path: "data/alpaca_corrective.jsonl" - config_name: openai data_files: - split: train path: "data/openai_corrective.jsonl" size_categories: - 1K<n<10K pretty_name: SEC Financial Extraction - Corrective Training Data --- # S&P 500 SEC Financial Extractions - Corrective Dataset ## Dataset Summary **4,253 corrective instruction-tuning examples** designed to teach LLMs what the base model gets wrong when extracting structured financial data from SEC filings. Covers both Exhibit 10 material contracts and DEF 14A proxy statements from S&P 500 companies. This is a companion to [TheTokenFactory/sec-contracts-financial-extraction-instructions](https://huggingface.co/datasets/TheTokenFactory/sec-contracts-financial-extraction-instructions), which contains the positive training examples. | Pipeline | Examples | Filing Type | |----------|----------|-------------| | Exhibit 10 | 3,060 | Material contracts (8-K, 10-K, 10-Q EX-10 exhibits) | | DEF 14A | 1,193 | Proxy statements (executive compensation, governance) | ## Example Types | Type | Count | Description | |------|-------|-------------| | **Positive (corrected)** | 1,968 | Same input as raw extraction, but output is the post-reducer validated version | | **Corrective (rescued)** | 95 | Extractions where the reducer fixed a specific error - output shows the corrected value | | **Negative** | 2,190 | Inputs where all extractions were invalid - output is empty JSON, teaching the model to say "nothing here" | ## Key Corrective Signals ### Symbol Discipline (Proxy-specific) The model's biggest weakness is symbol handling on compensation tables where dollar amounts and share counts appear side by side: | Error | Count | Example | Correction | |-------|-------|---------|------------| | **Dollar on shares** | 50 | `$3,205` for "Performance Shares Earned" | `3,205 shares` | | **Bare share count** | 11 | `92,028` for "Restricted Stock Units" | `92,028 shares` | | **Missing dollar sign** | 30 | `9,525` for "Annual base salary" | `$9,525` | ### Hallucination Prevention | Error | Count | What it teaches | |-------|-------|-----------------| | **Hallucination phrases** | 23 | Drop when definition says "does not contain", "no specific", "page number" | | **Column headers as names** | 194 | Drop when exec name is "Named Executive Officer", "Total", etc. | | **Empty governance values** | 182 | Drop when governance value is null, "N/A", "not found" | ### Drop Gate Distribution (Negative Examples) | Gate | Count | Description | |------|-------|-------------| | EMPTY_VALUE | 202 | Model returned "NONE" marker | | COLUMN_HEADER_NAME | 194 | Table header used as executive name | | EMPTY_GOV_VALUE | 182 | Null/N/A governance values | | EMPTY_TYPE | 60 | Missing item_type | | BAD_COMP_TYPE | 55 | Non-canonical compensation type | | HALLUCINATION_PHRASE | 23 | Fabricated definitions | ## Formats Three standard fine-tuning formats with identical examples: | Format | File | Best For | |--------|------|----------| | **ShareGPT** | `sharegpt_corrective.jsonl` | Axolotl, Unsloth, LLaMA-Factory | | **Alpaca** | `alpaca_corrective.jsonl` | Stanford Alpaca format tools | | **OpenAI** | `openai_corrective.jsonl` | OpenAI fine-tuning API, HuggingFace TRL | ## Metadata Fields | Field | Type | Description | |-------|------|-------------| | `pipeline` | string | `exhibit10` or `proxy` | | `example_type` | string | `positive_corrected`, `corrective`, or `negative` | | `negative_reason` | string | Primary validation gate for negative examples | | `rescue_gates` | string | Comma-separated gates that triggered rescue | | `has_dollar_on_shares` | bool | True if this example corrects $ on share counts | | `has_bare_share_count` | bool | True if this example corrects missing "shares" label | | `drops_count` | int | Number of extractions dropped by validation | | `rescued_count` | int | Number of extractions rescued by validation | ## Dataset Creation Generated by comparing raw LLM extractions (pre-validation) against post-reducer validated outputs. The gap between raw and validated output defines the corrective signal. See the [extraction pipeline documentation](https://huggingface.co/datasets/TheTokenFactory/sec-contracts-financial-extraction-instructions) for full pipeline details. ### Important Note on Labels These are **silver-standard labels** generated by a 2B parameter model with automated validation. Suitable for fine-tuning but not for gold-standard evaluation. ## License [CC-BY-4.0](https://creativecommons.org/licenses/by/4.0/)许可证：CC-BY-4.0 任务类别： - 文本生成 - 令牌分类(Token Classification) 语言：英语 标签： - 金融 - 金融自然语言处理(Financial NLP) - 美国证券交易委员会备案文件(SEC filings) - SEC-EDGAR - 结构化抽取(Structured Extraction) - 信息抽取(Information Extraction) - 指令微调(Instruction Tuning) - 微调(Fine-tuning) - ShareGPT - Alpaca - ChatML - 校正训练(Corrective Training) - 难负样本(Hard Negatives) - 高管薪酬(Executive Compensation) - 代理声明(Proxy Statements) - DEF 14A - JSON抽取(JSON Extraction) - 标普500(S&P 500) - 自然语言处理(NLP) 数据集信息： - 配置名称：sharegpt 特征字段： - 名称：conversations 类型：列表 - 名称：from 数据类型：字符串 - 名称：value 数据类型：字符串 - 名称：metadata 类型：结构体 - 名称：source_file 数据类型：字符串 - 名称：chunk_type 数据类型：字符串 - 名称：task_type 数据类型：字符串 - 名称：company 数据类型：字符串 - 名称：ticker 数据类型：字符串 - 名称：pipeline 数据类型：字符串 - 名称：model_version 数据类型：字符串 - 名称：iteration 数据类型：字符串 - 名称：confidence_min 数据类型：64位浮点型 - 名称：example_type 数据类型：字符串 - 名称：negative_reason 数据类型：字符串 - 名称：drops_count 数据类型：64位整型 - 名称：rescued_count 数据类型：64位整型 - 名称：rescue_gates 数据类型：字符串 - 名称：has_noncanonical_term_type 数据类型：布尔型 - 名称：has_noncanonical_covenant_type 数据类型：布尔型 - 名称：has_noncanonical_comp_type 数据类型：布尔型 - 名称：has_dollar_on_shares 数据类型：布尔型 - 名称：has_bare_share_count 数据类型：布尔型 - 配置名称：alpaca 特征字段： - 名称：instruction 数据类型：字符串 - 名称：input 数据类型：字符串 - 名称：output 数据类型：字符串 - 名称：metadata 类型：结构体 - 名称：source_file 数据类型：字符串 - 名称：chunk_type 数据类型：字符串 - 名称：task_type 数据类型：字符串 - 名称：company 数据类型：字符串 - 名称：ticker 数据类型：字符串 - 名称：pipeline 数据类型：字符串 - 名称：model_version 数据类型：字符串 - 名称：iteration 数据类型：字符串 - 名称：confidence_min 数据类型：64位浮点型 - 名称：example_type 数据类型：字符串 - 名称：negative_reason 数据类型：字符串 - 名称：drops_count 数据类型：64位整型 - 名称：rescued_count 数据类型：64位整型 - 名称：rescue_gates 数据类型：字符串 - 名称：has_noncanonical_term_type 数据类型：布尔型 - 名称：has_noncanonical_covenant_type 数据类型：布尔型 - 名称：has_noncanonical_comp_type 数据类型：布尔型 - 名称：has_dollar_on_shares 数据类型：布尔型 - 名称：has_bare_share_count 数据类型：布尔型 - 配置名称：openai 特征字段： - 名称：messages 类型：列表 - 名称：role 数据类型：字符串 - 名称：content 数据类型：字符串 配置项： - 配置名称：sharegpt 默认启用：true 数据文件： - 拆分方式：训练集 路径："data/sharegpt_corrective.jsonl" - 配置名称：alpaca 数据文件： - 拆分方式：训练集 路径："data/alpaca_corrective.jsonl" - 配置名称：openai 数据文件： - 拆分方式：训练集 路径："data/openai_corrective.jsonl" 样本量范围：1000 < n < 10000 数据集别名：SEC金融抽取——校正训练数据集 # 标普500(S&P 500)公司SEC金融抽取数据集——校正版 ## 数据集概述 **共4253条校正型指令微调示例**，旨在教授大语言模型(LLM/Large Language Model)掌握从美国证券交易委员会备案文件中抽取结构化金融数据时，基础模型常犯的错误。数据集覆盖标普500公司的10号附件实质性合同与DEF 14A代理声明两类数据源。 本数据集为[TheTokenFactory/sec-contracts-financial-extraction-instructions](https://huggingface.co/datasets/TheTokenFactory/sec-contracts-financial-extraction-instructions)的配套数据集，后者收录正向训练示例。 | 处理流水线 | 示例数量 | 备案文件类型 | |----------|----------|------------- | 10号附件 | 3060 | 实质性合同（8-K、10-K、10-Q的EX-10附件） | | DEF 14A | 1193 | 代理声明（高管薪酬、公司治理） | ## 示例类型 | 类型 | 数量 | 说明 | |------|-------|------------- | **正向校正型** | 1968 | 输入与原始抽取结果一致，但输出为经校验器验证后的修正版本 | | **校正挽救型** | 95 | 经校验器修正特定错误的抽取结果，输出展示修正后的值 | | **负样本** | 2190 | 所有抽取结果均无效的输入，输出为空JSON，用于教授模型识别“无可用信息”场景 | ## 核心校正信号 ### 符号规范问题（仅针对代理声明场景） 模型最显著的短板在于薪酬表格中美元金额与股份数量并行出现时的符号处理： | 错误类型 | 数量 | 示例 | 修正方案 | |-------|-------|---------|------------ | **股份附带美元符号** | 50 | 将“已获绩效股份”标注为`$3,205` | 修正为`3,205 shares` | | **无修饰股份数量** | 11 | 将“限制性股票单位”标注为`92,028` | 修正为`92,028 shares` | | **缺失美元符号** | 30 | 将“年度基本工资”标注为`9,525` | 修正为`$9,525` | ### 幻觉内容防范 | 错误类型 | 数量 | 训练目标 | |-------|-------|----------------- | **幻觉表述** | 23 | 当定义中包含“不包含”“无特定”“页码”等表述时，需剔除相关内容 | | **将列标题当作姓名** | 194 | 当高管姓名为“指定执行官员”“总计”等时，需剔除该条目 | | **治理字段为空** | 182 | 当治理字段为null、“N/A”或“未找到”时，需剔除该条目 | ### 负样本丢弃门限分布 | 门限类型 | 数量 | 说明 | |------|-------|------------- | EMPTY_VALUE | 202 | 模型返回“NONE”标记 | | COLUMN_HEADER_NAME | 194 | 使用表格表头作为高管姓名 | | EMPTY_GOV_VALUE | 182 | 治理字段为空或为N/A | | EMPTY_TYPE | 60 | 缺失item_type字段 | | BAD_COMP_TYPE | 55 | 非规范薪酬类型 | | HALLUCINATION_PHRASE | 23 | 虚构的定义表述 | ## 格式规范 提供三种标准微调格式，示例内容完全一致： | 格式 | 文件名 | 适配场景 | |--------|------|---------- | **ShareGPT** | `sharegpt_corrective.jsonl` | Axolotl、Unsloth、LLaMA-Factory | | **Alpaca** | `alpaca_corrective.jsonl` | 斯坦福Alpaca格式工具链 | | **OpenAI** | `openai_corrective.jsonl` | OpenAI微调API、HuggingFace TRL | ## 元数据字段 | 字段 | 数据类型 | 说明 | |-------|------|------------- | `pipeline` | 字符串 | `exhibit10`或`proxy` | | `example_type` | 字符串 | `positive_corrected`、`corrective`或`negative` | | `negative_reason` | 字符串 | 负样本的主要校验门限 | | `rescue_gates` | 字符串 | 触发挽救操作的门限，以逗号分隔 | | `has_dollar_on_shares` | 布尔值 | 若该示例用于修正股份附带美元符号的问题则为真 | | `has_bare_share_count` | 布尔值 | 若该示例用于修正无修饰股份数量的问题则为真 | | `drops_count` | 整数 | 经校验器丢弃的抽取结果数量 | | `rescued_count` | 整数 | 经校验器挽救的抽取结果数量 | ## 数据集构建 本数据集通过对比原始大语言模型抽取结果（校验前）与经校验器验证后的输出结果生成，原始输出与验证后输出的差异即为校正信号。完整处理流水线细节请参阅[抽取流水线文档](https://huggingface.co/datasets/TheTokenFactory/sec-contracts-financial-extraction-instructions)。 ### 标签说明 本数据集采用**银标准标签**，由参数规模为20亿的模型经自动化验证生成，仅适用于微调场景，不可用于金标准评估。 ## 许可证 [CC-BY-4.0](https://creativecommons.org/licenses/by/4.0/)