alea-table-layout

ALEA table layout recovery 是由 ALEA Institute 发布、面向文本生成任务的英语数据集，许可为 CC-BY-4.0。YAML 元数据将规模类别标为 10K<n<100K，标签包括 tables、markdown、csv、synthetic、alea、alea-r4，默认配置 default 的训练分片位于 data/train-*.parquet。其任务是把纯文本表格恢复或转换为 Markdown 管道表格或 CSV，并保留标题和脚注。输入纯文本表格可能采用空格对齐并包含换行单元格、合并分组表头、点引导线和分离的美元符号，也可能是空白分隔的行，或每行一个单元格。覆盖的表格类型包括利润表、带两级表头的统计表、资产负债表、费用表、预算、名册、费率表和会议日程。当前发布含 4,532 个文档、3,763,722 个 token，token 数按 alea-v2b-sw32k（ALEA R4 分词器）计算，并计入每篇文档的起始与结束 token。该数据集是 ALEA R4 稳定预训练混合的一部分（第二数据阶段，每个样本一遍），每行与训练文本逐字节相同，text_sha256 为 text 的 SHA-256；由同一代码生成的保留评估项不在本发布中。原始发布为 10,404 个文档、7,517,569 个 token；经 2026-10-31 两次修订，先移除包含 65 个填充姓氏和 1,575 个组织名（以及姓氏 Olander）的行，降至 8,833 个文档、6,487,903 个 token，再移除文本整体词包含生成器名称池中重复姓氏、组织名和虚构地名的行，降至当前 4,532 个文档、3,763,722 个 token。修订采用仅检测方式整行删除，不编辑剩余文本，剩余行与最初发布行逐字节相同。当前按任务：table_md 3,526 个文档，table_csv 1,006 个文档。README 中原始 Composition 表列出 table_md 8,081 个文档/5,861,090 个 token、table_csv 2,323 个文档/1,656,479 个 token，并注明 3,653 个文档使用 ALEA chat template。数据由确定性代码从类型化表格编写，未使用语言模型；来源为虚构的类型化表格，名称和值来自固定词表与随机抽取；所有实体均为虚构，任何数字均不呈现为真实统计。每条指令说明答案依赖的所有约定，包括数字按打印形式、合并表头如何连接、脚注标记位置。验证方式包括：每个答案解析回类型化单元格且包含表头；噪声文本在删除引导线和规则线后的词多重集等于标题、表头、单元格和脚注的词多重集；进行去污处理，移除与保留评估项共享 13-gram 词的训练行，或按 ALEA 去污政策移除或记录与评估集重叠的行；抽样记录由独立评审者盲审并重新计算或推导答案，缺陷在最终构建前修复或删除。字段包括 id（生成器行 id，不一定唯一，少数族系在不同变体中复用 id，少量完全重复文档被训练两次并出现两次）、text（与训练完全一致的文档，聊天文档使用 ALEA chat template 且控制 token 以文本形式出现，如 <|start|>、<|system|>、<|user|>、<|assistant|>、<|eot|>、<|end|>）、task（任务类型）、phase（stable，表示在 R4 稳定预训练混合中训练）、generator（写入行者，deterministic 表示仅代码）、group_id（源段落或记录组，同组所有变体共享）、prompt_chars（请求部分字符长度，普通文档为 0，未记录为 null）、n_tokens（alea-v2b-sw32k 下 token 数，含文档起止 token）、text_sha256（text 的 SHA-256）、meta（生成器结构化字段的 JSON，包括 source、presentation、answer form、gold values、checks）。已知限制：本发布不包含真实世界表格（GPO、EDGAR）；文档为生成文本，比自然文本更重复。许可方面，本汇编和生成文本为 CC-BY-4.0；公共领域和公共记录源文本保持原状态；Wikidata 为 CC0；OpenGloss 和 SHELF 为 CC-BY-4.0。ALEA table layout recovery is an English dataset released by ALEA Institute for text generation tasks, licensed under CC-BY-4.0. YAML metadata marks the size category as 10K<n<100K and tags include tables, markdown, csv, synthetic, alea, and alea-r4; the default configuration default has training shards at data/train-*.parquet. The task is to recover or convert plain-text tables into Markdown pipe tables or CSV while preserving titles and footnotes. The input plain-text tables may use space alignment and include wrapped cells, merged group headers, dot leaders, and separated dollar signs, or may be whitespace-separated rows or one cell per line. Covered table types include income statements, statistical tables with two-level headers, balance sheets, expense tables, budgets, rosters, rate tables, and meeting schedules. The current release contains 4,532 documents and 3,763,722 tokens, with token counts computed using alea-v2b-sw32k, the ALEA R4 tokenizer, including start and end tokens per document. It is part of the ALEA R4 stable pretraining mixture, second data stage, one pass per sample; each row is byte-identical to the training text, and text_sha256 is the SHA-256 of text; held-out evaluation items generated by the same code are not in this release. The original release had 10,404 documents and 7,517,569 tokens; after two revisions dated 2026-10-31, rows containing 65 filler surnames and 1,575 organization names plus the surname Olander were removed, reducing it to 8,833 documents and 6,487,903 tokens, and then rows whose full text words contained repeated surnames, organization names, and fictional place names from the generator name pool were removed, reducing it to the current 4,532 documents and 3,763,722 tokens. Revisions used detection-only whole-row deletion without editing remaining text; remaining rows are byte-identical to the original release rows. By current task, table_md has 3,526 documents and table_csv has 1,006 documents. The original Composition table in the README lists table_md with 8,081 documents and 5,861,090 tokens, table_csv with 2,323 documents and 1,656,479 tokens, and notes that 3,653 documents use the ALEA chat template. Data is written by deterministic code from typed tables, without using language models; sources are fictional typed tables, and names and values come from fixed vocabularies and random draws; all entities are fictional and no number is presented as real statistics. Each instruction states all conventions needed for the answer, including numbers as printed, how merged headers are joined, and footnote marker positions. Validation includes parsing each answer back to typed cells and checking headers; after removing guide lines and rule lines, the word multiset of the noisy text equals the word multiset of titles, headers, cells, and footnotes; decontamination removes training rows sharing 13-gram words with held-out evaluation items or removes and records rows overlapping evaluation sets under the ALEA decontamination policy; sampled records are blind-reviewed by independent reviewers who recompute or derive answers, and defects are fixed or deleted before final build. Fields include id, generator row id that is not necessarily unique, with some families reusing ids across variants and a few fully duplicated documents trained twice and appearing twice; text, the document exactly as used in training, where chat documents use the ALEA chat template and control tokens appear as text such as <|start|>, <|system|>, <|user|>, <|assistant|>, <|eot|>, and <|end|>; task, task type; phase, stable, indicating training in the R4 stable pretraining mixture; generator, the writer, where deterministic means code only; group_id, source paragraph or record group shared by all variants in the group; prompt_chars, character length of the request part, 0 for normal documents and null when not recorded; n_tokens, token count under alea-v2b-sw32k including document start and end tokens; text_sha256, SHA-256 of text; meta, JSON of structured generator fields including source, presentation, answer form, gold values, and checks. Known limitations: this release does not include real-world tables such as GPO and EDGAR; documents are generated text and more repetitive than natural text. Licensing: this compilation and generated text are CC-BY-4.0; public domain and public record source texts remain as-is; Wikidata is CC0; OpenGloss and SHELF are CC-BY-4.0.

原始信息汇总

ALEA table layout recovery 数据集总结

基本信息

项目	内容
数据集页面	https://huggingface.co/datasets/alea-institute/alea-table-layout
pretty_name	ALEA table layout recovery
license	cc-by-4.0
language	en
task_categories	text-generation
size_categories	10K<n<100K
tags	tables、markdown、csv、synthetic、alea、alea-r4
configs	config_name: default；data_files: split: train；path 绝对地址：https://huggingface.co/datasets/alea-institute/alea-table-layout/tree/main/data/train-*.parquet

数据集简介

将纯文本表格转换为 Markdown pipe table 或 CSV，并保留标题和脚注。

纯文本表格形式包括：空格对齐且含换行单元格、合并组表头、点引导符和分离美元符号；空白分隔行；或每行一个单元格。

表格类型包括：利润表、含两级表头的统计表、资产负债表、费用表、预算、名册、费率表和会议日程。

当前规模与修订

最新修订（2026-10-31，second pass）

最新修订后规模：4,532 documents，3,763,722 tokens（alea-v2b-sw32k，ALEA R4 tokenizer，计入每篇文档的开始和结束 token）。

scope	documents before	documents after	tokens before	tokens after
all	8,833	4,532	6,487,903	3,763,722

按 task：

task	before	after
table_md	6,888	3,526
table_csv	1,945	1,006

移除规则：移除文本中包含生成器名称池中名称作为整词的行，名称包括姓氏、组织名称和虚构地名；这些名称来自小固定列表并在许多文档中重复。移除列表为数据集生成器名称池的并集，减去真实公共记录文本中常见的姓氏。

原因：每个池名称在数百到数千文档中重复，训练在集合上的模型会学习名称而非任务。剩余行不含池名称。剩余文本未编辑。

移除为仅检测：整行按上述规则删除，无文本编辑，因此每个剩余行与最初发布行字节相同。早期版本仍可在数据集历史中获取。

本卡片其他地方描述全集的计数和数字，除非在本节重述，否则指原始发布。

第一次修订（2026-10-31）

该发布从 10,404 个文档减少到 8,833 个文档。移除文本中包含 65 个填充姓氏或 1,575 个组织名称作为整词的行，并包含姓氏 Olander。

scope	documents before	documents after	tokens before	tokens after
all	10,404	8,833	7,517,569	6,487,903

按 task：

task	before	after
table_md	8,081	6,888
table_csv	2,323	1,945

原因：被移除文档使用来自小固定池的虚构组织和人物。

移除为仅检测：整行按规则删除，无文本编辑，因此每个剩余行与最初发布行字节相同。早期版本仍可在数据集历史中获取。

数据组成

Composition 表格：

task	documents	tokens
table_md	8,081	5,861,090
table_csv	2,323	1,656,479

3,653 篇文档使用 ALEA 的聊天模板。

ALEA R4 训练混合

本数据集包含 ALEA R4 模型在稳定预训练混合中训练的该家族全部文档，属于第二数据阶段，每篇一次。

每行与训练文本字节完全相同；text_sha256 是 text 的 SHA-256。

由相同代码生成的留出评估项不在此发布中。

制作方法

由确定性代码从类型化表格编写；未使用语言模型。

所有实体均为虚构，没有任何数字被呈现为真实统计。

每条指令说明答案依赖的所有约定：数字按印刷、合并表头如何连接、脚注标记位置。

来源

• 虚构的类型化表格，名称和值来自固定词表和随机抽取。

验证

• 每个答案解析回去后等于类型化单元格，包括表头。
• 噪声文本的词多重集，去除引导符和规则线后，等于标题、表头、单元格和脚注的词多重集。
• 去污染：训练行若与留出评估项或其他同家族留出评估项共享一个词 13-gram，则被移除；与 ALEA 评估集重叠的行按 ALEA 去污染政策移除或记录。
• 抽样记录由独立审查者盲审，审查者重新计算或重新推导答案；审查中发现的缺陷模式在最终构建前在生成器中修复，或删除受影响行。

列

column	content
id	生成器行 id；不总是唯一：一些家族跨变体复用 id，少量完全重复文档被训练两次并出现两次
text	训练时的文档；聊天文档使用 ALEA 聊天模板，控制 token 以文本形式出现：`<
task	任务种类
phase	stable，表示在 R4 稳定预训练混合中训练
generator	写入行的来源；deterministic 表示仅代码
group_id	源段落或记录组；一个组的所有变体共享该值
prompt_chars	text 中请求部分的字符长度；普通文档为 0；未记录为 null
n_tokens	在 alea-v2b-sw32k 下的 token 数，包括文档开始和结束 token
text_sha256	text 的 SHA-256
meta	JSON：生成器的结构化字段，包括 source、presentation、answer form、gold values、checks

已知限制

• 本发布不包含真实世界表格，例如 GPO、EDGAR。
• 文档为生成式，比自然文本更重复。

许可

本编译和生成文本为 CC-BY-4.0。

公共领域和公共记录源文本保持其状态；Wikidata 为 CC0；OpenGloss 和 SHELF 为 CC-BY-4.0。

发布者：ALEA Institute，https://aleainstitute.ai

搜集汇总

数据集介绍

构建方式

围绕复杂表格的布局恢复与结构化转写任务，该数据集以类型化表格为源头，借由确定性代码生成，全程未使用语言模型。生成器将空格对齐、换行单元格、合并组表头、点引导线、分离美元符号、空白分隔行及单元格逐行排布等版式合成为纯文本表格，令答案对应 Markdown 管道表或 CSV，并保留标题与脚注。每条指令均明示数字呈现、表头合并与脚注标记等约定。样本经解析回验、词多重集校验、与评估集去污及盲审复核，缺陷于生成器修复或整行删除，且以 text_sha256 维系文本一致性。

特点

作为面向表格语义解析与结构化生成的数据资源，该数据集任务导向明确、版式扰动受控且来源可追溯。最终版本含 4,532 篇文档与 3,763,722 个 token，涵盖 table_md 3,526 篇、table_csv 1,006 篇，涉及收入表、双层表头统计表、资产负债表、费率表、预算表、名册及会议日程。数据与 ALEA R4 稳定预训练混合逐字节一致，3,653 篇文档采用聊天模板，实体与数值均为虚构。两轮修订按名称池规则整行删除重复人名与机构名，以削弱记忆名称而非学习布局任务之倾向；剩余文本未编辑。已知限制为未纳入真实世界表格，且生成文本较自然语料更具重复性。

使用方法

在表格布局恢复、文档理解与指令遵循生成研究中，该数据集可用于训练、微调与受控评估。使用者可读取 parquet 分片，以 text 为模型输入与监督目标，由 task 区分 Markdown 管道表或 CSV 转写任务，并借助 meta 中的源表结构、呈现形式、答案形式、金标值与校验信息开展细粒度分析。聊天格式文档沿用 ALEA 聊天模板，控制标记以文本形式出现，解析时需还原角色边界。n_tokens 与 text_sha256 可用于版本核验和训练复现，group_id 有助于分组划分以降低同源变体泄漏风险。鉴于 id 并非总唯一且存在少量重复训练文档，建议结合哈希与任务分层组织实验，并遵循去污协议避免评估污染。

背景与挑战

背景概述

表格结构恢复构成文档智能、语义解析与大模型预训练数据治理的交汇议题。ALEA table-layout recovery 由 ALEA Institute 发布，作为 ALEA R4 稳定预训练混合的组成部分，聚焦将空格对齐、含换行单元格、合并组表头、点引导线及分离美元符号的纯文本表格，转换为 Markdown 管道表或 CSV，并保留标题与脚注。该数据集经历 2026-10-31 两轮修订，由 10,404 篇压缩至 4,532 篇文档，含 3,763,722 个 token，任务分为 table_md 与 table_csv。其核心研究问题在于以确定性代码合成可验证、可去污的表结构恢复语料，并通过 SHA-256 与字节一致训练文本增强可复现性，对表格理解、结构化抽取及合成数据偏差控制具有参考意义。

当前挑战

从纯文本复原表格布局，本质上是在空白语义、对齐线索与符号噪声中重建行列拓扑与层级关系。该数据集所应对的领域挑战涵盖合并单元格、两级表头、换行内容、点引导线、分离货币符号及脚注锚定等结构化歧义；构建挑战则体现为合成实体池的重复性引致记忆偏置，促使发布方在 2026-10-31 两轮修订中整行剔除含固定姓氏与组织名的样本。与此同时，与留出评估集的 13-gram 去污、答案与类型化单元格一致性校验、噪声词多重集守恒，以及真实表格（GPO、EDGAR）缺位与合成文本重复性偏高，共同构成数据质量与泛化能力的持续约束。

常用场景

经典使用场景

在文档智能与表格结构理解领域，ALEA table layout recovery 的经典用法集中于将人类可读但机器难解的空格对齐纯文本表格恢复为结构化格式。该数据集覆盖利润表、统计表、资产负债表、费用表、预算、名录、费率表和会议日程等版式，要求模型处理换行单元格、合并组标题、点线引导符与分离美元符号，并以 Markdown 管道表或 CSV 输出，同时保留标题与脚注。其 table_md 与 table_csv 两类任务为序列生成模型提供了统一监督信号，可训练模型依据指令逐项还原表头、单元格和注释，适用于表格布局恢复、文本到表格转换及结构化抽取的受控实验。

衍生相关工作

作为 ALEA R4 稳定预训练混合的组成部分，ALEA table layout recovery 催生并支撑了一系列围绕表格布局恢复的后续工作。其字节级训练文本与 sha256 记录使模型行为可追溯，衍生出面向 Markdown/CSV 生成的表格结构识别模型、指令遵循式表格转换系统，以及基于同族生成器的留出评估项和去污染方法。该数据集的确定性构建与双重校验范式，亦为合成表格基准的设计提供了参照，影响后续研究在表格解析、表格问答与文档理解中采用受控数据、显式约定和可验证答案，从而拓展了从非结构化文本恢复表格布局的技术路线。

数据集最近研究

最新研究方向

在大模型日益倚重结构化输出的背景下，ALEA table layout recovery 数据集的最新研究聚焦于从纯文本版式精确恢复表格结构，涵盖合并组表头、换行单元格、点引导线、分离美元符号及脚注保留等复杂情形，并生成 Markdown 管道表或 CSV。其近期修订重点回应合成数据训练中的实体重复、记忆化与基准污染问题，通过移除固定名称池中的姓氏、组织名和虚构地名，强调去偏、去污染与字节级可复现性。作为 ALEA R4 稳定预训练混合的组成部分，该数据集推动表格理解、指令遵循与财务统计报表自动化研究，并以确定性生成、回读校验和盲审提升可审计性；但真实表格缺位与生成重复性仍限制其外推意义。