遇见数据集

alea-finance-explainers

收藏
Hugging Face2026-10-31 更新2026-11-01 收录
官方服务:

资源简介:

ALEA finance explainers 是由 ALEA Institute 发布的金融与会计概念解释数据集,主要用于文本生成和语言模型训练/预训练。文档为 plain-prose,通过具体数值示例解释金融与会计概念。原始覆盖五类任务:债券价格与市场利率、权责发生制与收付实现制、间接经营现金流、财务比率、复利与单利增长。语言为英语,任务类别为 text-generation,规模类别为 10K<n<100K,标签包括 finance、accounting、arithmetic、explanations、alea、alea-r4,许可证为 CC-BY-4.0,默认配置为 default,训练文件路径为 data/train-*.parquet。当前版本经过两次 2026-10-31 修订。第一次修订将文档从 59,841 条、25,320,824 tokens 减少到 23,450 条、9,460,417 tokens,删除包含 65 个 filler surnames 或 1,575 个组织名(以及姓氏 Olander)作为完整词出现的行;原因是这些名称来自小型固定池并在数据中重复,其中虚构公司组织名约每个名称对应 3,000 篇文档,剩余文档仍使用有限地名词汇。第二次修订进一步将文档从 23,450 条、9,460,417 tokens 减少到 11,884 条、4,422,367 tokens,删除包含生成器名称池中姓氏、组织名和虚构地名的行;原因是池中名称在数百到数千篇文档中复现,模型会学习名称而非任务。两次删除均为 detect-only 整行删除,未编辑文本,剩余行与最初发布的行逐字节一致,且剩余行不含这些池名。早期版本仍可在数据集历史中获取。经第二次修订后,按 task 统计仅 compound_vs_simple 保留 11,884 条文档、4,422,367 tokens,accrual_vs_cash、bond_price_vs_rate、indirect_cfo 和 ratios 均为 0;README 中较早的完整组成表描述的是原始发布或早期版本。原始完整组成包括:accrual_vs_cash 12,196 篇/5,338,246 tokens,indirect_cfo 12,166 篇/5,067,971 tokens,compound_vs_simple 11,884 篇/4,422,367 tokens,bond_price_vs_rate 11,857 篇/4,927,872 tokens,ratios 11,738 篇/5,564,368 tokens。该数据集包含 ALEA R4 模型在稳定预训练混合(第二阶段,每篇一遍)中训练过的该 family 文档;每行与训练文本逐字节一致,text_sha256 是 text 的 SHA-256。由同一代码生成的 held-out evaluation 项目不在本发布中。数据来源标注为 invented problems;制作时所有数字都在代码中从虚构输入计算,Qwen3.8-27B(开放权重,本地部署)根据计算步骤和结果撰写解释,并被要求不得更改或添加数字。数据验证要求包括:文本中的每个数字必须是输入、计算值或其声明的舍入值、年份或小计数;最终答案必须出现;方向词必须与计算出的方向一致;不得使用 markdown;需满足长度边界。去污染方面,与 held-out evaluation item(本 family 或兄弟 family)共享 word 13-gram 的训练行被移除,与 ALEA 评估集重叠的行按 ALEA 去污染政策移除或记录。抽样记录由独立审阅者盲审,其重新计算或重新推导答案;审阅中发现的缺陷在最终构建前通过修复生成器或删除受影响行处理。数据结构为表格,字段包括:id(生成器行 id,不总是唯一;少数 family 在变体间复用 id,少量完全重复文档被训练两次并出现两次)、text(与训练时完全一致的文档;聊天文档使用 ALEA chat template,控制 token 以文本形式出现:<|start|>、<|system|>、<|user|>、<|assistant|>、<|eot|>、<|end|>)、task(任务类型)、phase(生成器放置标签:plain documents 为 pretraining,instruction-framed tasks 为 midtraining;此处每行都在 R4 稳定预训练混合中训练)、generator(撰写该行的对象,deterministic 表示仅代码)、group_id(来源段落/记录组,同一组的所有变体共享)、prompt_chars(text 中请求部分的字符长度;plain documents 为 0,未记录处为 null)、n_tokens(在 alea-v2b-sw32k 下的 token 数,包括文档起止 token)、text_sha256(text 的 SHA-256)、meta(JSON,包含生成器结构化字段:source、presentation、answer form、gold values、checks)。已知局限是文档为生成文本,比自然文本更重复。许可证方面,本编译和生成文本采用 CC-BY-4.0;公共领域和公共记录来源文本保持其状态;Wikidata 为 CC0;OpenGloss 和 SHELF 为 CC-BY-4.0。数据集由 ALEA Institute 发布。

ALEA finance explainers is a finance and accounting concept explanation dataset released by ALEA Institute, mainly used for text generation and language model training/pretraining. Its documents are in plain prose and explain finance and accounting concepts through concrete numerical examples. It originally covered five task categories: bond price vs market rate, accrual vs cash accounting, indirect operating cash flow, financial ratios, and compound vs simple growth. The language is English, the task category is text-generation, the size category is 10K<n<100K, tags include finance, accounting, arithmetic, explanations, alea, and alea-r4, the license is CC-BY-4.0, the default configuration is default, and the training files are data/train-*.parquet. The current version has undergone two revisions dated 2026-10-31. The first revision reduced the dataset from 59,841 documents and 25,320,824 tokens to 23,450 documents and 9,460,417 tokens by removing rows containing 65 filler surnames or 1,575 organization names, as well as the surname Olander, as whole words; these names came from a small fixed pool and repeated in the data, with fictional company or organization names appearing in about 3,000 documents each, and remaining documents still use a limited place-name vocabulary. The second revision further reduced the dataset from 23,450 documents and 9,460,417 tokens to 11,884 documents and 4,422,367 tokens by removing rows containing surnames, organization names, and fictional place names from the generator name pool; these pool names appeared in hundreds to thousands of documents, causing models to learn names rather than tasks. Both removals were detect-only whole-row deletions without editing the text, remaining rows are byte-for-byte identical to the originally released rows, and the remaining rows do not contain these pool names. Earlier versions remain available in dataset history. After the second revision, by task only compound_vs_simple retains 11,884 documents and 4,422,367 tokens, while accrual_vs_cash, bond_price_vs_rate, indirect_cfo, and ratios are all 0; the earlier full composition table in the README describes the original release or an earlier version. The original full composition includes: accrual_vs_cash 12,196 documents / 5,338,246 tokens, indirect_cfo 12,166 documents / 5,067,971 tokens, compound_vs_simple 11,884 documents / 4,422,367 tokens, bond_price_vs_rate 11,857 documents / 4,927,872 tokens, and ratios 11,738 documents / 5,564,368 tokens. The dataset contains this family of documents trained by the ALEA R4 model in a stable pretraining mixture (stage two, one pass per document); each row is byte-for-byte identical to the training text, and text_sha256 is the SHA-256 of text. Held-out evaluation items generated by the same code are not included in this release. The data source is labeled as invented problems; during production all numbers were computed in code from fictional inputs, and Qwen3.8-27B (open weights, locally deployed) wrote explanations based on the calculation steps and results, and was required not to change or add numbers. Data validation requirements include: every number in the text must be an input, a computed value or its declared rounded value, a year, or a small count; the final answer must appear; direction words must match the computed direction; markdown must not be used; and length bounds must be satisfied. For decontamination, training rows sharing word 13-grams with held-out evaluation items (from this family or sibling families) were removed, and rows overlapping the ALEA evaluation set were removed or recorded according to the ALEA decontamination policy. Sampled records were blind-reviewed by independent reviewers, who recomputed or rederived the answers; defects found in review were handled before final construction by fixing the generator or deleting affected rows. The data structure is tabular, with fields: id (generator row id, not always unique; some families reuse ids across variants, and a few exactly duplicated documents were trained twice and appear twice), text (the document exactly as used in training; chat documents use the ALEA chat template, with control tokens appearing as text: <|start|>, <|system|>, <|user|>, <|assistant|>, <|eot|>, <|end|>), task (task type), phase (generator placement label: pretraining for plain documents, midtraining for instruction-framed tasks; here every row was trained in the R4 stable pretraining mixture), generator (the entity that wrote the row, where deterministic means code only), group_id (source paragraph/record group; all variants from the same group share it), prompt_chars (character length of the request portion in text; 0 for plain documents and null where not recorded), n_tokens (token count under alea-v2b-sw32k, including document start and end tokens), text_sha256 (SHA-256 of text), and meta (JSON containing generator structured fields: source, presentation, answer form, gold values, checks). A known limitation is that the documents are generated text and more repetitive than natural text. Regarding licensing, this compilation and generated text use CC-BY-4.0; public domain and public record source texts remain in their status; Wikidata is CC0; OpenGloss and SHELF are CC-BY-4.0. The dataset is released by ALEA Institute.

创建时间:
2026-10-20
原始信息汇总

ALEA finance explainers 数据集概述

基本标识

  • 数据集名称:ALEA finance explainers
  • 数据集页面:https://huggingface.co/datasets/alea-institute/alea-finance-explainers
  • 许可证:CC-BY-4.0
  • 语言:en
  • 任务类别:text-generation
  • 大小类别:10K<n<100K
  • 标签:finance、accounting、arithmetic、explanations、alea、alea-r4
  • 默认配置:config_name=default;train 切分使用 parquet 文件

数据内容

  • 金融和会计概念的平实散文解释,通过数值示例展开。
  • 涵盖主题:债券价格与市场利率、权责发生制与收付实现制、间接经营现金流、财务比率、复利与单利增长。
  • 规模:11,884 documents,4,422,367 tokens。
  • Tokenizer:alea-v2b-sw32k,即 ALEA R4 tokenizer,计数包含每篇文档的起始和结束 tokens。

修订历史

修订(2026-10-31)

  • 发布规模从 59,841 documents 减少到 23,450 documents。
  • 移除条件:文本作为整词包含 65 个 filler 姓氏或 1,575 个组织名之一,以及姓氏 Olander。
  • 移除原因:被移除文档描述来自小固定组织名池的虚构公司,每个名称约 3,000 documents。
  • 剩余文档仍从有限词汇中抽取地名。
scope documents before documents after tokens before tokens after
all 59,841 23,450 25,320,824 9,460,417
task before after
accrual_vs_cash 12,196 2,946
indirect_cfo 12,166 2,904
compound_vs_simple 11,884 11,884
bond_price_vs_rate 11,857 2,935
ratios 11,738 2,781
  • 移除方式:仅检测,按规则删除整行,未编辑文本;剩余行与最初发布行字节一致。
  • 早期版本仍保留在数据集历史中。
  • 卡片其他地方描述全集的计数和数字指原始发布,除非修订节重述。

修订(2026-10-31,第二轮)

  • 规模从 23,450 documents 减少到 11,884 documents。
  • 移除条件:文本作为整词包含生成器名称池中的名称,包括姓氏、组织名称、虚构地名;这些名称来自小固定列表并在许多文档中重复。
  • 名称池列表:数据集生成器池的并集,减去真实公共记录文本中常见的姓氏。
  • 移除原因:每个池名称在数百到数千 documents 中重复,模型会学习名称而非任务。
  • 剩余行不包含任何池名称;剩余文本未编辑。
scope documents before documents after tokens before tokens after
all 23,450 11,884 9,460,417 4,422,367
task before after
compound_vs_simple 11,884 11,884
accrual_vs_cash 2,946 0
bond_price_vs_rate 2,935 0
indirect_cfo 2,904 0
ratios 2,781 0
  • 移除方式:仅检测,按规则删除整行,未编辑文本;剩余行与最初发布行字节一致。
  • 早期版本仍保留在数据集历史中。
  • 卡片其他地方描述全集的计数和数字指原始发布,除非修订节重述。

ALEA R4 训练混合

  • 该数据集包含 ALEA R4 模型在稳定预训练混合中训练的这一家族文档。
  • 训练阶段:第二数据阶段,每份一遍。
  • 每行与训练文本字节一致;text_sha256 是 text 的 SHA-256。
  • 由相同代码生成的留出评估项不在本次发布中。

Composition 表

task documents tokens
accrual_vs_cash 12,196 5,338,246
indirect_cfo 12,166 5,067,971
compound_vs_simple 11,884 4,422,367
bond_price_vs_rate 11,857 4,927,872
ratios 11,738 5,564,368

生成方式

  • 所有数字由代码从虚构输入计算。
  • Qwen3.8-27B(开放权重,本地服务)根据计算步骤和结果写解释,并被要求不得更改或添加数字。
  • 来源:虚构问题。

验证

  • 文本中每个数字必须是输入、计算值(或所述舍入)、年份或小计数。
  • 最终答案必须出现。
  • 方向词必须与计算方向一致。
  • 无 markdown。
  • 长度界限。
  • 去污染:训练行若与留出评估项共享 word 13-gram,则被移除;与 ALEA 评估集重叠的行按 ALEA 去污染政策移除或记录。
  • 抽样记录由独立评审者盲审,重算或重新推导答案;审查发现的缺陷模式在最终构建前在生成器中修复,或丢弃受影响行。

字段

column content
id 来自生成器的行 id;不总是唯一:少数家族跨变体重用 id,少量完全重复文档训练两次并出现两次
text 文档与训练完全一致;聊天文档使用 ALEA 聊天模板,控制 tokens 以文本形式出现:`<
task 任务类型
phase 生成器放置标签:pretraining 为普通文档,midtraining 为指令框架任务;此处每行都在 R4 稳定预训练混合中训练
generator 写入该行的内容;deterministic = 仅代码
group_id 来源段落/记录组;一个组的所有变体共享
prompt_chars text 中请求部分的字符长度;普通文档为 0;未记录为 null
n_tokens 在 alea-v2b-sw32k 下的 tokens,包括文档开始和结束 tokens
text_sha256 text 的 SHA-256
meta JSON:生成器结构化字段,包括 source、presentation、answer form、gold values、checks

已知限制

  • 文档是生成的,比自然文本更重复。

许可与发布

  • 此编译和生成文本的许可证:CC-BY-4.0。
  • 公共领域和公共记录源文本保持其状态。
  • Wikidata 是 CC0。
  • OpenGloss 和 SHELF 是 CC-BY-4.0。
  • 发布方:ALEA Institute,https://aleainstitute.ai
搜集汇总
数据集介绍
alea-finance-explainers 数据集图片
构建方式
金融与会计概念的可解释建模常依赖数值示例与自然语言阐释的严格对齐,alea-finance-explainers 的构建正沿袭这一路径。该数据集所有数值均由代码从虚构输入计算得出,Qwen3.8-27B 依据已计算步骤与结果撰写解释,并被要求不得增改数字。生成后执行多阶段验证:文本中每个数字须为输入值、计算值或其舍入、年份或小计数,最终答案须出现,方向词须与计算结果一致,并限制无 Markdown 且满足长度边界。去污环节移除与留出评估项共享单词 13-gram 的行;抽样记录由独立评审者盲审重算,缺陷在生成器修复或整行丢弃。修订时按名称池以整词检测删除行,不编辑剩余文本。
使用方法
面向文本生成、语言模型预训练与金融数值解释研究,该数据集可通过 Hugging Face datasets 以 default 配置加载 train 分片 parquet 文件。使用时应以 alea-v2b-sw32k 分词器复现 n_tokens,并保留 text 中 <|start|>、<|system|>、<|user|>、<|assistant|>、<|eot|>、<|end|> 等控制标记以避免语义偏移。可按 task、phase、generator 或 meta 字段筛选样本,借助 text_sha256 校验文本完整性,并参照去污政策规避与留出评估项的重叠。该编译与生成文本遵循 CC-BY-4.0,公开记录与特定来源仍按其原有许可使用。
背景与挑战
背景概述
ALEA finance explainers 由 ALEA Institute 发布,并作为 ALEA R4 稳定预训练混合的关键组成。其核心研究问题在于,以平实散文呈现金融与会计概念的数值推演,涵盖债券价格与市场利率、权责发生制与收付实现制、间接经营现金流、财务比率以及复利与单利增长。数据集经2026年10月31日两轮修订,删汰重复生成实体名后,现保留11,884份文档、4,422,367个token,且仅余复利与单利增长任务。该语料将代码计算与自然语言解释耦合,为金融会计推理提供受控训练资源,并强化模型数值解释的一致性与可追溯性。
当前挑战
金融会计数值解释生成面临双重挑战。领域层面,模型须在自然语言中维持算术精度、会计逻辑、单位与方向一致,避免虚构数值解释中的幻觉与捷径学习。构建层面,生成器以代码计算虚构输入,约束大语言模型仅撰写解释而不改动数字,并校验每个数字来源、最终答案、方向词、格式与长度;13-gram去污染、盲审重算与实体池清理亦耗费严格流程。固定姓名、组织名与地名在大量文档中重复出现,诱发模型记忆实体而非习得任务,两轮修订因此删除众多行,当前仅存复利与单利任务;生成文本较自然语料更重复,亦为已知局限。
常用场景
经典使用场景
在金融会计概念解释与数值推演相互交织的语料需求中,alea-finance-explainers 的经典使用场景聚焦于以纯文本逐步展示复利与单利等金融概念,并通过可核验的数字示例完成解释。当前修订版保留 11,884 篇复利与单利对比文档,以 ALEA R4 分词器计约 442 万词元。模型可借此学习将输入数值、计算步骤与最终答案组织为连贯叙述,亦可用于指令微调中的解释生成、算术一致性评估与金融文本生成实验。其文本经 SHA-256 校验并保持与训练文本字节一致,适合作为预训练混合中的受控语料。
解决学术问题
针对金融自然语言处理中模型易编造数值、解释与计算脱节、以及从虚构名称中习得表面线索而非任务规律等学术问题,alea-finance-explainers 通过代码生成输入与计算、由语言模型仅撰写解释且不得改动数字,并实施数字校验、方向词一致、去污染及盲审复算。第二版删除名称池中的姓氏、机构名与虚构地名,以缓解记忆偏置。该数据集为算术推理、可解释生成与金融概念理解提供可验证基准,推动可信金融 AI 与可审计文本生成研究。
实际应用
在金融教育、智能投顾、会计培训与自动报告生成等实际场景中,alea-finance-explainers 可支持系统生成关于复利与单利增长、利率影响与时间价值的透明解释。其数值示例与逐步推演适合构建面向学习者的辅导材料、财务概念问答、模型微调语料及输出一致性测试。由于文档源自代码计算并经校验,机构可将其用于训练需要数字忠实性的生成模型,或在合规审阅中评估解释文本是否与计算结果吻合。该数据集亦有助于预训练阶段的金融领域适应与下游任务少样本迁移。
数据集最近研究
最新研究方向
在金融大模型从流畅文本生成迈向可审计数值推理的背景下,alea-finance-explainers 的最新研究聚焦于数值忠实性、生成式合成语料去记忆化与训练—评测去污染的交汇。该数据集经2026年两次修订,剔除姓氏、机构名与虚构地名等高频池化实体,并将样本由59,841篇压缩至11,884篇、4,422,367 tokens,最终仅保留复利与单利比较任务;用于ALEA R4稳定预训练混合的字节一致文本,促使研究者审视合成解释能否让模型习得金融会计概念而非记忆表面线索。相关热点包括金融LLM数值幻觉、基准泄漏、可解释会计推理与可控合成数据。其意义在于为可验证金融解释、算术一致性检验和去污染训练提供受控语料,并推动可信金融人工智能的评测规范。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务