dlm-exp1-drafter-voting-research-artifacts

该数据集是 dlm-exp1 drafter-voting 实验的研究产物公开镜像，涵盖实验过程中产生的各类文件。主要包括：基线细胞数据（JSON Lines 格式，每行一个项目，并附带逐轮 NPZ 追踪）、状态批次忠实度探测状态（fidelity 文件夹）、融合边界、控制台日志和启动日志；早期 DES-Vote 500 项目细胞及专家集追踪（block-4 模型在 block 32 处的数据）；实验指标、审计报告和结果文档；代码快照、技术文档、协议以及 Claude 对话记录（令牌已掩码）；以及 Codex 监督对话记录。模型检查点未包含在内，但提供了引用。数据格式涵盖 JSON Lines、NPZ、文本日志等，适用于研究复现、模型行为分析和实验审计。This dataset is a public mirror of the research artifacts from the dlm-exp1 drafter-voting experiment, covering various files generated during the experiment. It mainly includes: baseline cell data (JSON Lines format, each line an item with per-round NPZ tracking), state-batch fidelity probe states (fidelity folder), fusion boundaries, console logs and startup logs; early DES-Vote 500 project cell and expert set tracking (block-4 model data at block 32); experimental metrics, audit reports, and result documents; code snapshots, technical documentation, protocols, and Claude conversation records (tokens masked); as well as Codex supervision conversation records. Model checkpoints are not included but references are provided. Data formats include JSON Lines, NPZ, text logs, etc., suitable for research reproduction, model behavior analysis, and experimental auditing.

原始信息汇总

数据集概述：dlm-exp1 drafter-voting 研究工件（公共镜像）

数据集基本信息

• 许可证：Apache-2.0
• 数据集类型：研究工件（research artifacts）的公共镜像
• 来源：drafter-voting 分支中未被 Git 跟踪的大型文件，来源于 GitHub 仓库 NoviceCoderInfinity/dlm-general-expert-exp1

数据集内容

该数据集包含实验过程中生成的各类研究文件和日志，具体结构如下：

1. 日志目录（logs/）

• logs/research_v1/：基线单元数据，包括：
  • 每个项目的 JSON 行格式数据
  • 两个检查点的逐遍 NPZ 轨迹（分别位于 baselines_traces/ 和 baselines_b32_traces/）
  • 状态批次保真度探测状态（fidelity/）
  • 刷新融合边界、控制台日志及启动日志
• logs/desvote/ 和 logs/desvote_traces/：早期的 DES-Vote 500 项目单元数据及专家集轨迹（块 4 模型在块 32 处）

2. 结果目录（results/）

• 包含指标（metrics）、审计（audits）和报告（reports）

3. 文档目录（docs/）

• 交接文档（handoffs）、协议文档
• Claude 会话记录（docs/claude_sessions/，已对令牌进行掩码处理）

4. 代码目录（code/）

• 上传时的代码快照（Git 分支为权威版本）

5. 其他文件

• codex_session.md：Codex 监督聊天记录

关键参考文档

建议从以下两个报告开始阅读：

1. results/reports/RESEARCH_RECORD_2026-09-05.md：包含每个假设和实验及其结论
2. results/reports/research_v1_decision.md：研究 v1 决策文档

相关模型（未包含在本数据集中）

数据集未重新上传模型，模型检查点分别位于：

• 块 32 检查点：JetLM/SDAR-30B-A3B-Chat-b32（修订版 c351bbc37d240aa6871f167e8f92d694281b0c22）
• 块 4 检查点：JetLM/SDAR-30B-A3B-Chat（修订版 f5add2a159163a2a8f07e9da7dfcbfaadc73d6d4）

另外，相关方（friend）的 Stage-0 路由轨迹参见 Anupam-Rawat-IITB/stage0-routing-logs。

搜集汇总

数据集介绍

构建方式

该数据集为‘dlm-exp1-drafter-voting’研究项目的公开工件镜像，汇集了实验过程中产生的庞大且未被Git追踪的各类数据。其构建源于对特定计算实例销毁前的及时上传，涵盖了日志、结果、文档与代码快照。具体而言，日志部分包含基线单元数据、状态批次保真度探针状态、融合边界及控制台记录；结果部分汇聚度量指标、审计报告与研究记录；文档部分收录交接说明、协议及经脱敏处理的Claude会话记录；代码部分则为上传时刻的源码快照。此数据集系统性地整合了研究进程中的原始数据与派生产物，为复现与深入分析提供了坚实基础。

特点

该数据集独具特色，其内容丰富且层次分明，横跨多个实验阶段与模型检查点。其中，DES-Vote早期实验数据与后期保真度探针状态并存，反映了研究路径的演进。数据格式兼具JSON行与NPZ张量轨迹，兼顾了可读性与计算效率。尤为珍贵的是，其包含了详尽的决策文档与Claude会话记录（令牌已掩蔽），为理解研究决策过程提供了透明窗口。同时，数据集明确指向外部模型检查点与路由迹线，体现了分布式科研协作的开放性，使得该工件不仅是数据仓库，更是完整研究脉络的载体。

使用方法

使用者可依据数据集内的指导文件快速上手。建议首先查阅‘results/reports/RESEARCH_RECORD_2026-09-05.md’以获取实验假设、过程与结论的全面概览，进而阅读‘research_v1_decision.md’了解关键决策依据。针对不同研究目的，可灵活选用日志中的基线单元数据用于模型评估，或利用保真度探针状态分析内部表征。代码快照与文档可辅助理解实验细节。需注意，模型权重未包含于集内，而需通过指定HuggingFace标识符另行获取，以复现完整实验流程。

背景与挑战

背景概述

该数据集创建于2026年9月，源自一项针对大型语言模型（LLM）推理效率与质量平衡的深入研究，由研究者NoviceCoderInfinity及其合作者共同推动，作为‘drafter-voting’实验的核心构件。其核心研究问题聚焦于通过多草稿投票机制优化自回归生成过程中的推测解码性能，旨在探索不同层级的模型（如block-4与block-32）在路由与融合策略下的表现。数据集系统性地收纳了基线追踪、状态批次保真度探测、DES-Vote专家集追踪、审计报告及会话记录等多元异构实验证据，为评估推测解码的确定性、上下文一致性及专家路由效能提供了翔实的基础。该研究镜像填补了该领域公开可复现数据稀缺的空白，为后续工作在生成效率与模型部署策略上的迭代提供了关键参照，对推动高效LLM推理的实证研究具有显著影响力。

当前挑战

该领域面临的核心挑战在于，如何在多候选草稿生成中有效协调不同深度模型间的预测分歧，同时控制计算开销，实现高吞吐与低延迟的融合决策。具体而言，现有方法常因投票策略的敏感性而遭遇质量退化或系统抖动，需在保证采样多样性与坚持高置信度路径间取得平衡。在构建过程中，研究团队遭遇了计算资源有限、实验环境即将销毁的紧迫性，这要求对海量原始数据的结构化捕获必须精准而高效，同时确保长程追踪（如NPZ格式多检查点痕迹）的完整性与兼容性，并谨慎处理会话记录中的敏感令牌脱敏，以维持数据的可审计性与隐私合规，最终在时间压力下形成一套逻辑自洽且可解释的决策记录。

常用场景

经典使用场景

该数据集作为‘drafter-voting’研究分支的公开镜像，集成了实验日志、状态追踪、模型检查点及代码快照等核心资源，为复现和验证基于深度学习的语言模型（特别是JetLM/SDAR-30B-A3B-Chat系列）的推理加速与决策融合机制提供了标准化的实验载体。研究者可依据其中的基线单元、保真度探针状态及启动日志，系统性地剖析预填充阶段与草稿投票策略在多层Transformer架构中的交互效应，从而推动对大规模稀疏激活模型高效解码路径的深入理解。

解决学术问题

该数据集直面大规模语言模型在推理阶段面临的计算冗余与延迟瓶颈，尤其针对专家混合架构中多草稿头投票机制的有效性验证这一核心难题。通过提供分阶段轨迹追踪与状态批保真度探针记录，它使得研究者能够量化不同检查点间行为差异，评估路由策略的鲁棒性，并厘清缺陷投票边界对生成质量的影响，从而为优化模型部署中的能耗与速度权衡提供坚实的实证基础，相关指标与审计报告亦为后续高效解码算法的理论修正与实验对标奠定了关键基石。

衍生相关工作

该数据集催生了若干后续探索方向，包括但不限于基于其忠实度探针状态的新型路由校准算法，以及参考其基线轨迹展开的对比学习研究。其中，发布者与其合作者依据该数据形成的‘research_v1_decision’报告，推动了状态分层融合策略在更大规模模型上的试炼，此外，诸如Anupam-Rawat-IITB的Stage-0路由日志等外部资料，也启发了一系列关于多阶段决策协作的跨机构研究，这些衍生工作共同丰富了对稀疏激活模型内部状态高效利用的方法论体系，并促进了社区内知识共享与坦诚的基准测评文化。