swarmworld-data

SwarmWorld数据集包含了用于研究基于语言模型（LLM）的代理群体如何在模拟共享世界中发现、构建、测试、操作、交换和修改材料技术的最终实验数据。该数据集包含权威的事件轨迹、预运行清单、剧集摘要、派生分析、最终图表以及一个技术图谱。实验包括800-tick和3200-tick两种时间尺度，共60个分析剧集，涵盖四种实验条件（full完整条件、no-explicit-culture无显式文化、no-communication无通信、independent-search独立搜索）和三种种群规模（N=50, 100, 200）。数据以压缩JSON行格式存储，并附带元数据CSV文件、验证脚本和分析脚本。该数据集适用于强化学习、文本生成以及多智能体AI、涌现行为、材料科学等领域的科学研究。The SwarmWorld dataset contains the final experimental data for studying how language model (LLM)-based agent swarms discover, build, test, manipulate, exchange, and modify material technologies in a simulated shared world. The dataset includes authoritative event trajectories, pre-run checklists, episode summaries, derived analyses, final plots, and a technology graph. Experiments span 800-tick and 3200-tick time scales, with 60 analyzed episodes covering four experimental conditions (full, no-explicit-culture, no-communication, independent-search) and three population sizes (N=50, 100, 200). Data is stored in compressed JSON lines format, accompanied by metadata CSV files, validation scripts, and analysis scripts. The dataset is suitable for reinforcement learning, text generation, and scientific research in multi-agent AI, emergent behavior, and materials science.

原始信息汇总

SwarmWorld Dataset

基本信息

• 数据集名称：SwarmWorld Dataset
• 语言：英语（en）
• 许可证：Apache-2.0
• 任务类别：强化学习（reinforcement-learning）、文本生成（text-generation）
• 标签：swarms、ai-for-science、multi-agent-ai、discovery、agent-based-modeling、materials-science、emergent-behavior

数据集简介

该数据集包含用于研究 LLM 智能体群体如何在模拟共享世界中发现、构建、测试、操作、交换和修改材料技术的最终 SwarmWorld 实验数据。内容包括权威事件轨迹、精确的预运行清单、情节摘要、派生分析、最终图表以及技术图谱。

范围与配套代码库

• 本发布为数据包。scripts/ 下的脚本为刻意精简、可读的示例，展示如何检查压缩轨迹、复现基本端点比较以及绘制移动情况，并非完整的论文分析流程。
• 仿真引擎、配置文件、回放工具、统计分析模块以及所有期刊图表生成器维护在配套的 SwarmWorld 源代码库（https://github.com/lamm-mit/SwarmWorld）中，该代码库在协调代码发布前可能保持私有。

实验规模

• 800-tick 实验包含 48 个匹配的条件-种群-种子情节：4 种条件、3 种种群规模（N=50、100、200）、4 个发现种子。
• 长时程实验包含 12 个 N=100 情节，追踪 3,200 ticks，并在 ticks 400、800、1,600、2,400、3,200 处进行冻结组合评估。
• 合计为 9 次研究调用下的 60 个分析情节。独立搜索基线使用的每个孤立成员轨迹也一并包含。

实验研究

研究	N	条件	种子	Ticks	留出评估
study_800tick_n050_full_independent	50	full;independent-search	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n050_culture_ablations	50	no-communication;no-explicit-culture	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n100_full_independent	100	full;independent-search	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n100_no_explicit_culture	100	no-explicit-culture	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n100_no_communication	100	no-communication	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n200_full_independent	200	full;independent-search	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n200_no_explicit_culture	200	no-explicit-culture	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_800tick_n200_no_communication	200	no-communication	3201;3202;3203;3204	800	seeds 9201;9202;9203;9204;9205;9206;9207;9208
study_3200tick_n100_cultural_crossover	100	full;independent-search;no-explicit-culture	3301;3302;3303;3304	3200	seeds 9201;9202;9203;9204;9205;9206;9207;9208; checkpoints 400;800;1600;2400;3200

• 完整命令见 metadata/run_commands.md。
• 完整数值配置与可复现性哈希记录在各研究的 study-manifest.json 中。

实验条件

• full：智能体共享物理世界，观察公共制品和环境变化，进行显式交流、发布知识记录、教学、交易和分叉程序。
• no-explicit-culture：智能体仍居住并修改同一世界，但移除显式文化记忆及相关转移机制，仍可通过持久制品和环境变化间接相互影响。
• no-communication：智能体共享世界及其持久文化，但显式交流动作被禁用。
• independent-search：N 个孤立单智能体世界获得相同总数的决策机会，不共享智能体、制品、环境变化或文化记录。汇总基线为按端点取最佳的 N 包络，所有成员轨迹均保留。

所有研究条件使用相同的 gpt-5.6-luna 智能体策略、固定世界缩放、固定决策调度、结构化输出以及引擎修订版 9。发现种子控制模拟世界与智能体决策。留出种子定义仅在发现之后使用未见扰动计划。留出评估期间，智能体被移除，其制品组合的冻结副本暴露于相同扰动，因此测定的是已实现的技术功能而非智能体的书面声明。

目录结构

text data_share/ studies/ authoritative manifests, summaries, and traces analyses/800tick_four_condition/ analyses/3200tick_n100/ figures/journal/ final PDF, PNG, and SVG paper figures figures/technology_atlas/ catalog, embeddings, explorer, and rendered atlas figures/examples/ rendered outputs from the standalone example scripts metadata/studies.csv metadata/episodes.csv metadata/files.csv metadata/run_commands.md scripts/quick_analysis.py scripts/plot_movement.py scripts/summarize_trace.py scripts/verify_dataset.py FILE_GUIDE.md dataset_manifest.json

示例脚本

脚本	用途
scripts/quick_analysis.py	使用 metadata/episodes.csv 比较 N=50、100、200 各条件下的四项端点指标。
scripts/plot_movement.py	流式读取一个共享世界轨迹，导出移动时间序列、每智能体轨迹及四面板图。
scripts/summarize_trace.py	统计单条轨迹中的记录、事件、动作尝试、成功、智能体、消息、制品、教学、交易和程序数量。
scripts/verify_dataset.py	依据 metadata/files.csv 校验所有发布文件。

使用说明

• 读取紧凑研究索引： bash column -s, -t metadata/studies.csv | less -S

• 查看 60 条情节级端点行： bash column -s, -t metadata/episodes.csv | less -S

• 从数据集根目录运行独立端点分析： bash python scripts/quick_analysis.py --dataset-root . --output-dir quick_analysis

输出 quick_endpoint_summary.csv 及 quick_endpoints.pdf、.png、.svg。更专业的统计、移动、谱系和时间网络输出已位于 analyses/ 下。

端点缩放示例

• 图片：figures/examples/quick_analysis/quick_endpoints.png
• 每个空心圆代表一个仿真种子。实心符号和连接线表示种子均值，垂直条表示观测种子范围。
• 关联文件：figures/examples/quick_analysis/quick_endpoints.pdf、figures/examples/quick_analysis/quick_endpoints.svg、figures/examples/quick_analysis/quick_endpoint_summary.csv。

完整下载

完整数据集约 8.4 GB，可通过 Hugging Face CLI 下载（公开数据集无需认证）： bash python -m pip install --upgrade huggingface_hub numpy matplotlib tqdm

hf download lamm-mit/swarmworld-data --repo-type dataset --local-dir swarmworld-data

cd swarmworld-data

示例：N=200 在 800 ticks 内的移动

仅需下载分析脚本和一条权威轨迹： bash hf download lamm-mit/swarmworld-data scripts/plot_movement.py studies/study_800tick_n200_full_independent/llm-full-n-200-seed-3201.jsonl.gz --repo-type dataset --local-dir swarmworld-data

cd swarmworld-data

生成四面板移动图及源表： bash python scripts/plot_movement.py --dataset-root . --population-size 200 --condition full --seed 3201 --output-dir movement_example

输出文件：

• movement-n200-full-seed-3201.pdf、.png、.svg：平均累计路径长度、移动智能体比例、区间速度与空间扩散，以及按时间着色的全部 200 条空间轨迹。
• movement-n200-full-seed-3201-timeseries.csv：每个保存的世界快照一行。
• movement-n200-full-seed-3201-agent-trajectories.csv：每个保存快照下每个智能体一行，含位置、累计距离、区间速度和移动指示。

移动示例输出

• 图片：figures/examples/movement_example/movement-n200-full-seed-3201.png
• 面板 A 显示累计行程，面板 B 显示每个保存区间内移动的比例，面板 C 比较移动率与空间扩散，面板 D 叠加全部 200 条轨迹并以颜色表示仿真时间。
• 关联文件：figures/examples/movement_example/movement-n200-full-seed-3201.pdf、figures/examples/movement_example/movement-n200-full-seed-3201.svg、figures/examples/movement_example/movement-n200-full-seed-3201-timeseries.csv、figures/examples/movement_example/movement-n200-full-seed-3201-agent-trajectories.csv。

轨迹读取说明

• .jsonl.gz 文件为 gzip 压缩的换行分隔 JSON 事件流，无需解压，示例脚本使用 Python 的 gzip 模块直接读取。

• 不创建未压缩副本即可检查轨迹： bash gzip -dc studies/study_800tick_n200_full_independent/llm-full-n-200-seed-3201.jsonl.gz | head -n 3

• 单个种子的图是对一个社会的描述性视图。适合统计推断的比较需运行全部四个独立仿真种子并聚合种子级指标。不要将同一社会内的 200 个智能体视为 200 个独立实验重复： bash for seed in 3201 3202 3203 3204; do python scripts/plot_movement.py --dataset-root . --population-size 200 --condition full --seed "$seed" --output-dir movement_all_seeds done

• 同一脚本接受 --population-size 50、100 或 200，以及条件 full、no-explicit-culture、no-communication。独立搜索被有意排除在空间社会图之外，因为每个基线成员占据单独的单智能体世界，而非一个共享多智能体空间。

示例：汇总动作与事件

bash python scripts/summarize_trace.py --trace studies/study_800tick_n200_full_independent/llm-full-n-200-seed-3201.jsonl.gz --output-dir trace_summary

打印紧凑 JSON 摘要并写出 trace-summary.json、event-counts.csv、action-counts.csv。这些文件揭示智能体移动、测试材料、构建制品、交流、教学、交易或安装程序频率等问题的原始计数。

校验所有文件的 SHA-256： bash python scripts/verify_dataset.py --dataset-root .

读取权威轨迹

压缩轨迹为换行分隔 JSON。以下示例在不提取文件的情况下打印前五种记录类型： bash gzip -dc studies/study_800tick_n050_full_independent/llm-full-n-50-seed-3201.jsonl.gz | head -n 5

• 记录类型、端点和派生文件定义见 FILE_GUIDE.md。
• 图表和技术图谱工作流见 figures/README.md。

引用

bibtex @misc{pal2026swarmworldstigmergictechnologicalevolution, title={SwarmWorld: Stigmergic technological evolution in societies of language-model agents}, author={Subhadeep Pal and Fiona Y. Wang and Markus J. Buehler}, year={2026}, eprint={2608.26081}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2608.26081}, }

搜集汇总

数据集介绍

构建方式

面向语言模型智能体社会性技术涌现的实证需求，SwarmWorld数据集以多智能体仿真引擎为生成核心，构建了涵盖材料技术发现、构造、测试、操作、交换与改写的长时程实验轨迹。数据集划分为800 tick与3200 tick两组实验：前者包含四种条件与三个种群规模（N=50、100、200）的48个匹配条件-种群-种子片段，后者以N=100种群追踪12个片段至3200 tick，并在400、800、1600、2400与3200 tick处执行冻结组合评估。独立搜索基线中每个成员的轨迹亦被完整保留，所有片段共享固定的智能体策略、世界缩放、决策调度与结构化输出，并记录运行清单、复现哈希及事件溯源信息，从而确保实验的权威性与可复现性。

特点

该数据集的核心特征在于其系统性的条件对照设计与精细的轨迹刻画能力。实验条件包括完全共享、无显式文化、无通信与独立搜索四类，藉此分离物理世界共享、持久性人工物影响、显式文化传递与直接通信等不同机制对技术演化的贡献。数据以gzip压缩的JSONL事件流形式组织，记录智能体的移动、测试、构造、通信、教学、交易与程序安装等原子动作，并辅以片段摘要、派生分析与科技图谱。每个研究均提供完整数值配置与复现哈希，目录结构清晰划定原始轨迹、分析结果、论文图表与元数据，兼顾计算效率与审计便利。

使用方法

使用者可通过Hugging Face CLI将数据集下载至本地目录，并利用随附的轻量脚本开展端到端分析。quick_analysis.py基于metadata/episodes.csv比较不同条件与种群规模的端点指标；plot_movement.py可直接流式读取指定的.jsonl.gz轨迹，输出累积路径长度、移动智能体比例、区间速度与空间扩散四联图，以及时间序列表和逐智能体轨迹表；summarize_trace.py统计单条轨迹中的记录数、事件数、动作尝试与成功次数等；verify_dataset.py依据SHA-256清单校验全部文件的完整性。进行统计推断时，应对四个独立种子分别运行并聚合种子级指标，而非将同一社会内的多个智能体视为独立重复，独立搜索条件因成员各自处于单智能体世界而不适用于空间社会图。

背景与挑战

背景概述

SwarmWorld数据集由麻省理工学院Subhadeep Pal、Fiona Y. Wang与Markus J. Buehler于2026年创建，旨在探究大语言模型智能体群体如何在共享模拟世界中通过信息素式协作机制发现、构建、测试、交易与改良材料技术。该数据集包含60个已分析实验回合、9项研究调用及权威事件追踪记录，覆盖四种实验条件与三种群体规模。其核心研究问题聚焦于涌现行为、文化记忆与显式通信对集体技术演化的影响，为AI驱动科学发现与多智能体系统领域提供了大规模可复现的实证基础，对理解分布式认知与开放式技术演化具有重要影响力。

当前挑战

该数据集所应对的领域问题在于模拟开放式技术演化中智能体群体自组织发现与传播材料技术的复杂性，这一过程涉及符号通信、环境持久化改变与策略性知识交换的耦合。构建过程中面临的挑战包括：在长时程模拟中维持事件追踪的完整性与不可篡改性，精确校准独立搜索基线以消除共享文化带来的偏差，以及在计算资源约束下实现高达8.4 GB的多条件、多随机种子实验的可复现性。此外，去除显式通信或文化记忆的消融条件需精细分离间接环境效应与直接社会学习的贡献，对实验设计提出了严苛的方法论要求。

常用场景

经典使用场景

在人工智能与科学发现深度交汇的浪潮中，SwarmWorld数据集构筑了一个以大规模语言模型智能体为基本单元的多智能体仿真实验平台，其最经典的使用场景在于系统性地观测与量化由LLM智能体群体所构建的共享虚拟世界内，材料技术的涌现、传播、演化与累积过程。研究者通过调用该数据集中涵盖四种实验条件、三种种群规模与多组随机种子的权威事件轨迹与端点评估数据，得以在受控条件下剖析沟通行为、显性文化记忆以及独立搜索基线对技术发现效率与群体协作模式的差异化影响，从而为理解去中心化智能群体如何驱动开放式技术创新提供了可复现的实证基础。

解决学术问题

该数据集直面复杂适应系统与计算社会科学中长期悬而未决的核心难题，即如何实证性地揭示沟通机制与文化传递在分布式群体中的真实功能。通过精心设计的多条件对照实验，它使得研究者能够精确检验显性沟通与隐性文化记录对群体技术演化轨迹的独立贡献与耦合效应，并借由独立的搜索基线界定了社会性交互所创造的真实增益。这一贡献不仅为基于智能体的建模提供了严格可复现的参照标准，也深化了学术界对集体智能、路径依赖与技术锁定等现象的理解，推动了人工社会中涌现行为研究从理论思辨向数据驱动的范式转型。

衍生相关工作

围绕SwarmWorld数据集所衍生的经典工作已在多智能体强化学习、计算材料学与人工社会仿真等方向形成辐射效应。该数据集所依托的Stigmergic技术演化框架启发了后续研究将共享人工制品与环境痕迹作为智能体间间接通信媒介的建模思路，推动了基于LLM的协作式科学发现基准的建立。其关于种群规模缩放与文化消融的实验范式亦被后续工作借鉴，用以探讨知识传递机制在开放-ended创新任务中的角色，并催生了若干面向分布式技术演化的评估协议与开源工具链，为构建可审计、可复现的机器科学家社会奠定了数据基石。