socsim26-sharedtask

本数据集是为COLM 2026研讨会“基于大语言模型的社会模拟”共享任务发布的扫描数据，旨在构建针对社会模拟日志的评估方法，以验证研究中预设的假设或用户基于场景和数据自行提出的问题。数据集包含五个独立的社会模拟场景研究：beauty_contest（11-20金钱请求游戏，涉及层级推理和玩家角色，670次运行）、iterated_pd（10轮双人囚徒困境，涉及框架和角色立场，3,465次运行）、polarization（关于暴露度、拓扑结构和记忆的回声室效应，220次运行）、observed_norms（基于四个国家人口的世界价值观调查价值量表，330次运行）以及persona_expression（探讨智能体群体多样性的来源，528次运行）。每个研究以压缩包形式提供，解压后包含机器可读的设计规范（design.yaml）、人类可读的研究说明（README.md）以及sweeps/目录。sweeps/目录下包含运行清单（manifest.jsonl/csv）、元数据（sweep_meta.json）和runs/子目录。每个运行日志详细记录了智能体的游戏选择、帖子、收益等动作事件（action_events.jsonl.gz）、调查或意见评级的探测事件（probe_events.jsonl.gz）以及每次模型调用的完整提示和原始响应（prompts_and_responses.jsonl.gz）。数据总规模在1,000到10,000个样本之间，格式主要为JSON/JSONL。该数据集适用于社会模拟评估、多智能体系统研究、大语言模型行为分析以及基于假设驱动的计算社会科学实验。数据使用CC BY 4.0许可证发布，但部分用于构建模拟的锚定数据和角色源数据受其各自上游许可约束。

This dataset is scan data released for the COLM 2026 workshop Social Simulation with Large Language Models shared task. The core objective is to construct evaluation methods for social simulation logs to verify pre-set assumptions in research or questions proposed by users based on scenarios and data. The dataset includes five independent social simulation scenario studies: beauty_contest (11-20 money request game, involving hierarchical reasoning and player roles, 670 runs), iterated_pd (10-round two-player prisoners dilemma, involving framing and role stances, 3,465 runs), polarization (echo chamber effects regarding exposure, topology, and memory, 220 runs), observed_norms (World Values Survey value scales based on populations from four countries, 330 runs), and persona_expression (exploring sources of agent group diversity, 528 runs). Each study is provided as a compressed package, which, when extracted, contains machine-readable design specifications (design.yaml), human-readable study descriptions (README.md), and a sweeps/ directory. The sweeps/ directory includes run manifests (manifest.jsonl/csv), metadata (sweep_meta.json), and a runs/ subdirectory. Each run log details agent actions such as game choices, posts, and payoffs in action events (action_events.jsonl.gz), probe events for surveys or opinion ratings (probe_events.jsonl.gz), and complete prompts and raw responses for each model call (prompts_and_responses.jsonl.gz). The total data size ranges from 1,000 to 10,000 samples, primarily in JSON/JSONL format. This dataset is suitable for social simulation evaluation, multi-agent system research, large language model behavior analysis, and hypothesis-driven computational social science experiments. The data is released under the CC BY 4.0 license, but some anchoring data and character source data used to build the simulations are subject to their respective upstream licenses.

原始信息汇总

数据集概述

数据集名称：Many Worlds — COLM 2026 Social-Simulation Shared Task Data

许可证：CC BY 4.0（模型生成内容）；锚点与人物来源数据遵循各自上游许可条款（详见仓库中的 DATA_LICENSE.md）。

数据集规模：1K < n < 10K

主要用途：用于COLM 2026研讨会关于基于大型语言模型（LLM）的社会模拟共享任务。参与者需基于模拟日志构建评估方法，检验假设或提出自己的问题。无排行榜评分，评估基于准则与专家评审。

---

数据集内容

包含五个场景研究的压缩包（tarball）及一个SHA256校验和文件：

文件	研究内容	运行次数
beauty_contest_sweep.tar.gz	11-20 金钱请求游戏（层级推理、玩家角色）	670
iterated_pd_sweep.tar.gz	10轮两人囚徒困境（框架、人物立场）	3,465
polarization_sweep.tar.gz	信息茧房（暴露、拓扑、记忆影响）	220
observed_norms_sweep.tar.gz	跨越四个国家人群的世界价值观调查（WVS）价值问题	330
persona_expression_sweep.tar.gz	智能体人群多样性来源	528

每个压缩包解压后形成独立目录，结构如下：

<study>/ design.yaml # 机器可读的研究契约（假设、变量、扫描参数） README.md # 人类可读的研究规范 sweeps/ manifest.jsonl # 每次运行的参数、变量值、模型、种子、状态 manifest.csv # 上述内容的扁平化版本 sweep_meta.json # 设计哈希、silisocs提交版本、模型注册快照 SHA256SUMS # sweeps/目录下所有文件的校验和 DATA_README.md # 布局参考文档 runs/<condition_id>/seed_<n>/ runner_record.json run/ action_events.jsonl.gz # 游戏选择、帖子、收益 probe_events.jsonl.gz # 调查/观点评分（如有） prompts_and_responses.jsonl.gz # 模型调用完整提示与原始响应 effective_config.yaml sim_metrics.json

---

数据来源与生成

• 所有运行由 silisocs 提交版本 9bbd0fc18a3c0ac6481a3f6cf3790ce56f75573a（PyPI 发布为 silisocs==0.2.0）生成。
• 使用本地开放权重模型：Qwen3.5 27B / 9B / 4B 和 Gemma-4 31B。
• 确切的提交版本与模型注册快照记录在每个压缩包的 sweeps/sweep_meta.json 中。

---

相关链接

• 代码、研究规范与评估工具包：https://github.com/sandbox-social/socsim26_sharedtask
• 官网：https://sites.google.com/view/social-sims-with-llms/
• 提交截止日期：2026年8月7日（AoE时区）

---

使用说明

• 数据为纯 JSON/JSONL 格式，可用任意工具处理。
• 提供的 socsim_eval 工具包可简化 gzip 解压与字段查找。
• 可通过 CLI 命令（如 socsim-eval dict beauty_contest）或 Python 接口（如 from socsim_eval import open_study）使用。
• 完整评估指南见仓库中的 docs/EVALUATION_GUIDE.md。

---

研究人员须知

• 数据集仅包含模型生成内容，锚点与人物来源数据（如世界价值观调查数据）需自行获取，仓库中提供了相应脚本。
• 组织者自身的可观察量（observables）与预测将在截止日期后作为预注册内容发布，不作为评分标准。

搜集汇总

数据集介绍

构建方式

该数据集源自COLM 2026社会模拟共享任务，旨在推动基于大语言模型的社会仿真评估方法发展。数据通过silisocs仿真框架生成，涵盖五个经典社会情境研究：美式竞标博弈、迭代囚徒困境、极化效应、世界价值观调查及个体表达差异。每一研究均包含经系统参数扫描获得的仿真运行日志，记录了智能体在预定义条件下的行为、交互及认知输出。仿真采用多款开源模型（如Qwen3.5与Gemma-4），并严格记录模型版本与运行元数据，确保实验的可复现性与一致性。数据以结构化压缩包形式发布，内含设计合约、运行清单、事件记录及完整提示响应链，为后续分析方法构建提供了丰富且标准化的基础材料。

特点

本数据集的核心特色在于其内置的假设检验框架与高度开放性。每个研究场景不仅提供原始仿真轨迹，更附带机器可读的设计合约（design.yaml），清晰定义了自变量、因变量及待验证的社会科学假设。这种设计将评估任务从简单的性能比较转向对仿真真实性、理论一致性及智能体行为的深度分析。数据格式全面且粒度细腻，覆盖从宏观情境变量到微观模型调用的全链路信息，支持研究者自由提出新的研究问题并设计相应的操作化指标。此外，数据集不设唯一评分标准，而是通过评审委员会与结构化评估标准进行裁判，鼓励方法学创新与批判性思考。

使用方法

数据使用便捷且兼容多样化工具体系。用户可通过Git仓库获取配套的socsim_eval工具包，该工具提供了从数据读取、假设查询到运行指标计算的完整管线。基础用法包括使用命令行查看变量设计与运行摘要，或通过Python接口遍历仿真运行并实现自定义评估函数。所有数据以纯JSON/JSONL格式存储，解压后可直接用任意标准工具处理。工具包支持自动解析压缩的日志文件与字段索引，极大降低数据访问门槛。详细的评估指南与示例代码随仓库发布，便于研究者快速上手并聚焦于评估策略的设计与验证，而非繁琐的数据预处理工作。

背景与挑战

背景概述

大型语言模型在社会模拟中的广泛应用催生了对其仿真行为评估方法的迫切需求。为应对这一挑战，COLM 2026研讨会发布了“Many Worlds”共享任务数据集，由ComplexDataLab等研究机构于2026年创建。该数据集围绕五个经典社会博弈场景（如囚徒困境、极化形成等）生成了超过5,000条模拟轨迹，旨在推动研究者设计可复现、可解释的评估框架，以检验LLM智能体在微观互动与宏观涌现中的行为一致性。该数据集的核心贡献在于提供了结构化的假设检验范式，鼓励从经验数据中挖掘社会动力学机理，对基于智能体的建模与社会科学交叉领域具有重要推动力。

当前挑战

数据集所面临的挑战首先在于领域问题层面：当前LLM社会模拟缺乏统一、可信的评估指标，传统方法难以捕捉智能体在重复博弈、规范内化等场景中的复杂行为模式，亟需能从多维度（如理性推理、价值观表达、群体极化）量化仿真真实性的方法论。其次，在构建过程中，团队需平衡跨场景的变量设计与计算成本，例如在极化研究中控制网络拓扑与记忆参数，同时保证模型生成的可复现性与伦理合规性。此外，锚点数据（如世界价值观调查）的获取受注册限制，增加了数据整合的复杂性，而智能体人格多样性来源的标注也需协调上游许可协议，体现跨机构协作中的标准化难题。

常用场景

经典使用场景

在基于大型语言模型的社会模拟研究领域，socsim26-sharedtask数据集为研究者提供了一个标准化的仿真日志评估基准。该数据集包含五大经典社会困境场景的模拟运行记录，包括多轮囚徒困境、镜屋博弈、观点极化传播、世界价值观调查规范表达以及人格多样性来源分析。每个场景均提供了完整的行为事件、探测响应及模型调用记录，使研究者能够直接检验预设假设或自主提出新的研究问题。其核心设计理念在于鼓励创新性地构建操作化评估方案，而非追求排行榜上的指标竞争，从而推动社会模拟方法论的科学化发展。

衍生相关工作

围绕socsim26-sharedtask数据集已衍生出一系列重要的学术工作。其中，官方配套开发的socsim_eval工具包为标准化评估流程提供了技术基石，支持研究者以声明式方式定义评估函数并批量处理仿真日志。该任务本身作为COLM 2026研讨会专题共享任务，吸引了全球研究机构在假设验证方法学、智能体行为可解释性分析以及跨场景迁移评估等领域展开创新性探索。部分衍生工作聚焦于设计新型的社会模拟评价指标，如基于信息熵的行为不确定性量化方法，以及结合图神经网络的社会网络影响扩散模型。这些工作共同构成了一个逐步完善的评估方法生态系统，显著提升了LLM社会模拟研究的信度与效度。

数据集最近研究

最新研究方向

基于大语言模型智能体的社会模拟评估方法研究正迎来范式革新，socsim26-sharedtask数据集应运而生，专注于推动COLM 2026共享任务中社会模拟日志的评估框架构建。该数据集涵盖五个经典研究场景（如囚徒困境、极化效应、规范观测等），提供超过5200次模拟运行的多模态事件日志，包括博弈动作、问卷调查与模型调用记录。其核心前沿在于要求研究者自行设计假设操作化与度量方案，而非依赖单一排行榜分数，从而激发评估方法学的原创性突破。与LLM社会模拟热点事件相呼应，该数据集强调通过本地开源模型（如Qwen3.5、Gemma-4）生成可复现的模拟数据，并配套开源工具包socsim_eval，显著降低了评估创新的门槛。此举有望推动社会模拟从现象重现走向可验证的因果推理，为人机协作中的群体行为建模提供标准化实验场。