taskweft-fbd-editscore-train

该数据集名为 taskweft-fbd-editscore-train，旨在提供意图（intents）及其对应的 IEC 61131-3 功能块图（Function Block Diagrams）的映射关系。数据集采用 EditScore 格式组织：每个意图对应一个根行，每个根行包含三个候选功能块图，分别代表参考图（rank1）、编译通过但行为错误图（rank3）以及编译器拒绝图（rank5）。每个候选图附带来自编译器和执行器的得分。所有数据由模板和种子构造而成，标签真实可靠，且可重新生成。数据集包含三个分割：训练集（3375行）、测试集（375行，每第十个种子留出）、评估集（1250行，完全留出的家族和块类型），总计5000行。模板分为四种类型（write、write_then_read、run_print、write_then_count），每种各1250行。数据以 Parquet 格式存储，可通过四个配置（fbd、fbd_root、fbd_candidates、fbd_scores）访问，每个配置均包含训练、测试和评估分割。该数据集适用于文本生成任务，尤其侧重工业控制领域的意图与功能块图生成。This dataset, named taskweft-fbd-editscore-train, aims to provide a mapping between intents and their corresponding IEC 61131-3 Function Block Diagrams. The dataset is organized in EditScore format: each intent corresponds to a root row, and each root row contains three candidate function block diagrams representing the reference diagram (rank1), the compilation-passed but behavior-incorrect diagram (rank3), and the compiler-rejected diagram (rank5). Each candidate diagram is accompanied by scores from the compiler and executor. All data is constructed from templates and seeds, with reliable and reproducible labels. The dataset includes three splits: training set (3375 rows), test set (375 rows, holding out every tenth seed), and evaluation set (1250 rows, holding out entire families and block types), totaling 5000 rows. Templates are divided into four types (write, write_then_read, run_print, write_then_count), each with 1250 rows. The data is stored in Parquet format and can be accessed via four configurations (fbd, fbd_root, fbd_candidates, fbd_scores), each containing train, test, and evaluation splits. This dataset is suitable for text generation tasks, especially for intent-to-function block diagram generation in industrial control domains.

原始信息汇总

数据集概述

基本信息

• 数据集名称: taskweft-fbd-editscore-train
• 许可证: MIT
• 任务类型: 文本生成（text-generation）
• 相关标签: IEC 61131-3、功能块图（Function Block Diagram）、PLCopen、TaskWeft、EditScore
• 来源: 基于 v-sekai-fabric/taskweft-fbd-teacher 生成

数据集内容

该数据集包含意图（intents）及其对应的 IEC 61131-3 功能块图（Function Block Diagram），以 EditScore 格式组织。每个目标意图对应一行数据，每行包含三个候选项：

• rank1: 参考图（reference diagram）
• rank3: 能编译但执行错误行为的图
• rank5: 编译器拒绝的图

每个候选项附带来自编译器和执行器的评分。数据均由模板和种子构造，因此标签由构造过程保证正确性，且数据集可从种子重新生成。每行在生成前均经过控制验证。

数据划分

划分	说明	行数
train	训练集	3375
test	与训练集同分布，每第十个种子被留出，用于训练后的验证	375
evaluation	完全留出的家族和块类型（如 write_then_count），从未参与训练或调优	1250

数据配置与结构

数据集包含四个配置（config），均以 parquet 格式存储：

1. fbd_root（每意图一行）

字段包括：key, intent, template_id, seed, frame_id, blocks（参考图使用的块类型与签名）, traces（输入轨迹的 JSON 字符串）, 以及 EditScore 桩列。

2. fbd_candidates（每行三个候选项）

字段包括：candidate, rank, fbd_text（编译器文本形式）, fbd_xml（PLCopen XML）, plan_json 和 result_json（编译器的规划与执行器返回结果，若家族有执行器）, fbd_sha（构建候选文本的 sha256 值）, fbd_path（写入磁盘路径）, provenance。未产生的产物以空字符串表示，而非 null。

3. fbd_scores（每行三个评分项）

字段包括：parses, compiles, runs, effect_matches, steps, wall_ms, refusal。

4. fbd（默认配置，连接视图）

将根行与其候选项及各自评分合并显示。

数据集规模与模板分布

• 总行数: 5000
• 模板分布:
  • write: 1250
  • write_then_read: 1250
  • run_print: 1250
  • write_then_count: 1250

工具链信息

• 编译器版本: taskweft-fbd-compiler d3279ec
• 数据来源: v-sekai-fabric/taskweft-fbd-teacher

搜集汇总

数据集介绍

构建方式

taskweft-fbd-editscore-train数据集的构建基于IEC 61131-3标准的功能块图（FBD）与自然语言意图的映射，采用模板与种子驱动的生成方式，确保每个标签的真实性由构造过程保证。数据集中每一行包含一个意图及其对应的三个候选FBD，分别代表参考图、编译通过但功能错误、编译失败三种情形。所有样本均经过编译器与运行器的双重验证及控制条件检查，以确保质量。数据集分为训练、测试与评估三个子集，其中测试集隔离了十分之一的种子，评估集则包含完全未见过的模板族与块类型，以验证模型的泛化能力。

使用方法

使用该数据集时，默认配置fbd可直接用于训练与评测，该配置将根行与候选及其评分合并，便于直接加载。若需细粒度分析，可按需选用fbd_root、fbd_candidates或fbd_scores配置。数据集的种子生成机制允许从种子重新生成语料，支持消融研究与数据重建。由于标签由构造保证，适用于序列生成、排序任务及程序合成等场景，可通过HuggingFace datasets库轻松加载训练、测试与评估划分，进行模型微调与性能评估。

背景与挑战

背景概述

该数据集由v-sekai-fabric团队于近年创建，旨在推动工业自动化领域自然语言意图至IEC 61131-3功能块图的自动生成研究。其核心研究问题在于构建一个可验证、可再生的编辑评估语料库，以支持基于编辑距离的代码生成模型训练与评测。通过模板与随机种子驱动的生成机制，数据集提供了带真实标签的候选排序、编译及运行结果，有效衔接了自然语言程序合成与PLC编程实践。该数据集在工业软件工程与代码生成交叉领域具有一定影响力，为可解释、可控制的PLC代码生成提供了基准资源。

当前挑战

挑战主要涵盖两大方面。其一，领域问题层面，自然语言意图到功能块图的转换需同时保证语法正确性与行为一致性，现有模型易生成可编译但功能错误的代码，该数据集通过引入编译与运行双重评分机制，旨在促使模型提升执行层面的语义匹配。其二，构建过程中，需要精确控制模板与种子的组合以覆盖多样场景，同时确保每个样本的标签真实且可审计，并对每一行进行严格的控制断言；此外，数据规模的有序划分（如保留特定种子或整族作为测试与评估集）增加了构造复杂度，对算法的鲁棒性与泛化能力提出了更高要求。

常用场景

经典使用场景

该数据集以IEC 61131-3标准下的功能块图（FBD）为对象，针对工业自动化领域的程序合成与代码生成任务而构建。其设计遵循EditScore范式，每一行数据包含一个意图描述以及三个候选程序，分别对应正确实现、编译通过但行为错误以及编译失败的情况，为评估模型在结构化程序生成中的细粒度能力提供了基准。凭借真实标签和可再生的构造方式，该数据集成为训练与测试基于自然语言指令生成PLC代码模型的经典语料，尤其在文本到代码生成、程序修复及候选排序等研究方向中具有重要价值。

解决学术问题

此数据集着力解决工业自动化场景下自然语言意图到可执行PLC程序映射的学术难题，填补了该领域缺乏高质量、可验证的平行语料的空白。通过精细划分的训练、测试与评估集，其支持对模型泛化能力的严谨度量，尤其是对未见过的程序族和块类型的零样本适应能力的检验。数据集中包含的编译与运行反馈信息，使得研究能从语义正确性、执行效率等多维度剖析生成代码的优劣，推动可编译性、意图对齐及鲁棒性等关键科学问题的探索，为构建更加可靠和实用的代码生成系统奠定了数据基础。

实际应用

在工业实践中，该数据集推动自动化生成符合IEC 61131-3规范的功能块图代码，从而降低PLC编程门槛，提升工程效率。其应用场景涵盖从自然语言需求说明书直接生成结构化控制逻辑，辅助工程师进行方案设计，以及通过自动生成测试候选来支持代码审查与验证流程。此外，数据集中蕴含的候选排序与错误检测机制，可被用于开发智能编程辅助工具，实时提示潜在编译错误或逻辑偏差，减少上机调试时间。对于工业软件的质量保障与敏捷开发，该资料集提供了一条从需求到代码的便捷通道，有望在智能制造与工业4.0背景下加速控制系统的部署与迭代。

数据集最近研究

最新研究方向

该数据集聚焦于工业自动化领域，特别是IEC 61131-3标准下的功能块图（FBD）程序合成，通过引入EditScore-shaped语料库，将自然语言意图与可执行的FBD代码形式化关联。当前前沿研究方向包括基于大语言模型的程序生成与验证、语义感知的代码编辑评估以及人机协同的自动化控制逻辑设计。数据集提供了三层次的结构（根、候选、得分），并包含编译器反馈和运行时表现，这使得研究能够深入探索程序错误检测、意图-实现一致性评估以及程序修复策略。其构造方式确保了标签的可信度，并且通过动态生成机制支持持续的研究迭代。该数据集的发布对推动工业控制器代码的智能生成与自动化验证具有里程碑意义，也为构建更安全、高效的制造系统提供了数据基础。