OrgForge

OrgForge模拟了数周的真实企业活动，包括Confluence页面、JIRA票证、Slack线程、Git PR、电子邮件和服务器日志，这些活动基于一个事件驱动的状态机，确保LLM无法按顺序虚构事实。数据集是模拟活动的输出，工程师在中途离开，导致确定性的故障转移和票证重新分配。知识缺口在未充分记录的系统崩溃时显现。新员工通过模拟合作建立内部网络。压力通过实时加权的社交图传播。每个工件都反映了组织在编写时的确切状态。OrgForge simulates multiple weeks of realistic enterprise activities, encompassing Confluence pages, JIRA tickets, Slack threads, Git PRs, emails, and server logs. Powered by an event-driven state machine, these simulations ensure that LLMs cannot sequentially fabricate coherent factual narratives. The dataset is composed of outputs from these simulated activities, wherein an engineer departs mid-simulation, triggering deterministic failovers and ticket reassignment. Knowledge gaps arise during under-documented system crashes. New employees build internal organizational networks via simulated collaborative workflows. Stress propagates through a real-time weighted social graph. Each artifact reflects the precise state of the organization at the moment of its generation.

原始信息汇总

OrgForge 数据集概述

数据集简介

OrgForge 是一个用于人工智能代理评估的合成企业数据集生成器。它通过模拟数周内真实的企业活动（如 Confluence 页面、JIRA 工单、Slack 线程、Git PR、电子邮件和服务器日志）来生成数据，这些活动基于事件驱动的状态机，以确保大型语言模型（LLM）不会产生与事实序列不符的幻觉。

核心特性

• 动态组织模拟：组织状态并非静态。工程师可能在冲刺中期离职，工单可能被遗弃，知识缺口会实时浮现。新员工从冷启动开始，通过模拟协作逐渐熟悉环境。压力通过实时社交图谱传播。每个生成的工件都反映了其创建时刻组织的实际状态。
• 事实一致性：所有生成内容均基于 SimEvent 日志中的事实。事件日志确保了跨工件的时序一致性和事实准确性，防止了幻觉。

生成内容

一个默认的 22 天模拟会生成以下目录和文件：

工件类型	描述
confluence/archives/	种子文档：技术规范、活动简报、OKR 文档。
confluence/general/	模拟期间编写的临时页面。
confluence/postmortems/	基于实际根本原因的事后分析报告。
confluence/retros/	提及实际速度和事件的冲刺回顾。
jira/	冲刺工单、带有链接 PR 的 P1 事件工单。
slack/channels/	站会记录、事件警报、工程讨论、机器人消息。
git/prs/	带有审阅者、合并状态和链接工单的拉取请求。
emails/threads/	多轮事件升级和知识缺口讨论线程。
emails/sprint/	冲刺启动和中期检查电子邮件。
emails/leadership/	每周领导层同步摘要。
emails/hr/	欢迎邮件、士气干预、远程政策。
emails/sales/	提及实际事件稳定性的每周渠道更新。
servers/logs/	AWS 成本警报、Snyk 安全发现、GitHub Actions 输出。
simulation_snapshot.json	完整状态：事件、士气曲线、系统健康度、关系图、离职员工、新员工、知识缺口事件。
simulation.log	整个运行过程的完整时序系统和调试日志。

架构与机制

• 核心架构：采用严格的事件驱动状态机（CrewAI Flow）、向量数据库（MongoDB Atlas Local）和动态社交图谱（NetworkX），以保持时序一致性并防止幻觉。
• 事件总线：每个重要动作都会发出一个 SimEvent。所有下游工件都从事件日志中提取事实，而非由 LLM 编造。每日结束时的 day_summary SimEvent 捕获了当天所有事件的结构化快照。

配置与定制

• 主配置文件：config/config.yaml 是唯一的配置来源。
• 质量预设：支持 local_cpu、local_gpu 和 cloud 三种预设，对应不同的模型组合，适用于从本地迭代到生产数据集生成的不同场景。
• 公司模拟：可通过配置模拟不同的公司名称、行业、组织架构、遗留系统、事件触发词等。
• 动态组织生命周期：支持在模拟期间按计划安排员工的离职和入职，这些动态变化会影响当天的所有下游工件。

系统要求

质量预设	内存要求	备注
local_cpu	~5 GB RAM	Qwen 2.5 7B q4 + MongoDB + Python
local_gpu	~48 GB VRAM	Llama 3.3 70B — 需要 A100 或 2× A10G
cloud	~500 MB RAM	仅本地运行 MongoDB + Python

项目目标

旨在为构建基于制度知识进行推理的 AI 代理提供一个真实的测试语料库，并证明制度知识捕获是一个可解决的问题。OrgForge 是迈向该目标的开放源代码测试平台。

许可证

MIT 许可证。

搜集汇总

数据集介绍

构建方式

在人工智能代理评估领域，构建能够反映真实企业动态的数据集至关重要。OrgForge采用事件驱动的状态机架构，通过CrewAI Flow严格模拟企业活动的时间序列，确保生成的数据在时间维度上具有一致性。该数据集以SimEvent日志为核心，所有生成的文档、工单、邮件等企业工件均基于状态机中的真实事件，从而避免了大型语言模型可能产生的幻觉或时序错乱。模拟过程涵盖22天的企业运营，动态生成包括Confluence页面、JIRA工单、Slack线程、Git拉取请求、电子邮件及服务器日志在内的多种企业数据，并支持通过配置文件自定义公司名称、行业、组织架构等参数，实现高度可配置的企业场景仿真。

特点

OrgForge数据集的核心特征在于其动态性与真实性。该数据集并非静态的企业数据集合，而是模拟了企业运营中的动态变化，例如工程师在冲刺期间离职、工单被遗弃、知识缺口实时浮现等场景。数据集通过动态社交图（基于NetworkX）模拟压力传播与团队协作，确保每个生成的工件都反映了生成时刻组织的真实状态。所有数据均基于SimEvent日志中的事实，保证了跨工件的引用一致性，例如事件邮件线程与JIRA工单引用相同的根本原因。此外，数据集支持多种质量预设，涵盖从本地CPU到云端高性能模型的不同配置，满足从参数迭代到生产级数据集生成的不同需求。

使用方法

使用OrgForge生成数据集时，用户可通过Docker容器快速启动模拟环境，推荐使用`docker compose up`命令进行首次运行。数据集生成过程分为两个阶段：首先运行状态机模拟以生成基础工件，随后通过`python email_gen.py`命令生成电子邮件线程等反射性工件。用户可通过`config/config.yaml`文件灵活配置模拟参数，包括公司信息、组织架构、事件触发条件及动态生命周期事件（如员工离职与入职）。生成的数据集将输出至`./export/`目录，包含完整的仿真快照JSON文件及按类型分类的企业工件，便于直接用于人工智能代理的检索增强生成（RAG）评估或其他企业知识推理任务。

背景与挑战

背景概述

在人工智能代理评估领域，构建能够理解与推理机构知识的系统面临缺乏高质量、多样化企业数据集的挑战。OrgForge应运而生，作为一个由事件驱动状态机支撑的合成企业数据集生成器，旨在模拟数周内真实的企业活动，涵盖Confluence文档、JIRA工单、Slack线程、Git拉取请求、电子邮件及服务器日志等多种数字痕迹。该数据集由AerieSec团队开发，其核心研究问题聚焦于为评估AI代理在机构知识捕获与推理能力方面提供可控、可扩展且无幻觉的测试基准。通过参数化配置，OrgForge能够适应不同公司、行业与组织结构，从而推动机构知识管理这一关键问题的实证研究，为相关领域提供了前所未有的动态仿真环境。

当前挑战

OrgForge致力于解决企业机构知识检索与推理评估中数据稀缺与真实性不足的挑战。传统数据集如Enron邮件语料库已过时且法律敏感，而静态合成数据难以捕捉企业动态演进中的复杂关联。构建过程中的主要挑战在于确保多模态企业数据的时间一致性与事实基础性，防止大型语言模型产生时序错乱或事实幻觉。为此，项目采用严格的事件驱动状态机、向量数据库与动态社交图架构，以维持仿真过程中事件、角色与文档间的逻辑连贯性。此外，模拟员工流动、知识缺口传播以及压力在组织网络中的动态扩散，进一步增加了系统设计与验证的复杂性。

常用场景

经典使用场景

在人工智能代理评估领域，OrgForge数据集常被用于模拟企业环境中的多模态活动序列，为大型语言模型提供时序一致的基准测试平台。其经典应用场景在于生成涵盖Confluence文档、JIRA工单、Slack线程等企业数字痕迹的合成数据流，通过事件驱动状态机确保信息流的因果关联性，使研究者能够检验AI代理在动态组织环境中的知识推理与决策能力。

实际应用

在产业实践中，OrgForge被广泛应用于企业级AI系统的压力测试场景。金融科技公司利用其生成的合规事件链训练风险预警模型，云计算服务商通过模拟的多部门协作数据优化智能运维系统，人力资源科技企业则借助动态组织图谱开发员工离职影响预测算法，显著降低了真实企业数据采集的合规成本与隐私风险。

衍生相关工作

基于该数据集衍生的经典研究包括时序感知的企业知识图谱构建框架、动态社交网络中的压力传播模型以及多模态企业数据融合检索系统。这些工作通过OrgForge提供的事件溯源机制，开发出能够追踪组织状态演变的神经网络架构，为数字孪生组织仿真领域奠定了方法论基础。