arenamax

ArenaMax v3.8 是一个面向偏好训练和有监督微调 SFT 的 arena 数据集，主题为多轮规模扩展与可训练切片发布。它执行 v3.7 计划中的两个杠杆：多轮 headroom 扩展和多轮 SFT 模板，并将强 tier 校准通道发布为可直接训练的切片。数据集坚持零生成，仅使用人类证据或规则证据标签，所有声明均经过测量。相对于 v3.7，v3.8 的偏好对从 76,610 增至 82,207，净增 5,597 条 multirt；preference_multirt 视图从 5,199 增至 10,796，其中英文 6,087 达到完整测量需求，非英文 4,709；preference_tight 从 20,155 增至 21,010，其中 multirt 为 2,484；新增 sft_multiturn 配置，包含 3,029 条轨迹、2,658,832 real gpt2；新增 preference_strong 视图，包含 24,083 对，是已验证 tier 的可训练切片；多语言类别从 3,297 即 4.3% 增至 6,810 即 8.3%，继续以真实人类数据增长；dev_interaction 类别从 18,203 即 23.8% 增至 20,287 即 24.7%；校准 tier 为 strong 24,083、single 15,993、contested 42,131；sft 行保持 84,493 且字节一致；knowledge_reasoning 占比从 42.2% 自然降至 39.4%，上限 0.46 不变；校准表 multirt 先验从预构建的 0.75 改为 v3.7 审计测量值 0.83。v3.8 的主要动作包括：multirt_forge 扩展，v3.7 的 4,000 英文加 1,200 非英文上限已饱和，漏斗记录需求为 en 6,087、es 2,577、ru 2,027；v3.8 提高上限至 6,100 英文加 6,000 非英文，由于 lane 顺序确定性，按最大人类 rank-gap 优先，新增行是次优的人类排序对；英文 lane 落在测量需求 6,087，即 4,000 条 carried 加 2,087 条 new；所有门槛不变，包括 review-passed、非删除或合成、至少 120 字符、turn depth 至少 4、triple-id 去重，并在 v3.7 与 v3.8 并集上重新应用每树上限 6，丢弃 2 条，因此没有树贡献超过 6 对；非英文行 4,709，涵盖 es、ru、zh、de、fr 等，以真实人类偏好增长多语言类别，无合成，并排除于英文调优 tag lanes 和 tight。sft_multiturn 是新增配置，将延迟模板问题作为选择问题解决：为避免同一对话的重叠前缀，采用每树一条轨迹，即选择在每个 prompter 节点跟随最佳人类 rank-0 assistant child 的最深路径；前缀重复按构造消失，每个 assistant turn 都携带人类 rank 证据 meta.assistant_ranks；门槛为每个 assistant turn 有排名、review-passed、非合成或删除，深度至少 4 条消息，最终 turn 至少 120 字符，中间 turn 至少 40；schema 为通用 messages 数组，形式为角色与内容对象，并包含每行 provenance，包括 apache-2.0、origin tree、category、渲染后的 User:/Assistant: transcript 的 real gpt2 计数；漏斗为 13,854 棵树，9,108 棵太浅、1,311 棵无 ranked final、406 棵 final 太短，最终保留 3,029 条，其中 1,737 英文加 1,292 非英文，4,000 与 2,000 的上限未绑定，需求等于保留数。preference_strong 是校准通道的可训练化视图，强 tier 定义为至少 2 个规则信号家族且无长度混杂，作为训练者实际想要的切片发布，具有最高预期标签存活率；它是对池的纯过滤，零新标签。校准表更新使用自身测量：multirt 先验从预构建的 0.75 替换为 v3.7 审计测量的 0.83；multirt 行上的 meta.calib.expected 现在携带测量值；v3.8 审计在扩展后的 mass 上重新测量。Judge survival 部分说明：verbosity probe 在两个 judge families 复现，GLM 0.944、DeepSeek V4-Flash 0.944，属于 judge-CLASS 属性；GLM z-ai 是常设通道；v3.8 blind dual-order audit 为 78 对，包括 54 lanes 加 24 tier-stratified，seed 20261101，遇到 z-ai 限流；run 1 在墙前完成 multirt_en cell，9/12 chosen-win 等于 75%，order agreement 为 92%，与 v3.7 lane 的 83% 和 92% 一致，说明扩展 lane 保持质量；run 2 落在配额耗尽中，所有调用 429 或 void，并如实保存；完整审计将在配额重置后重新运行并合并到 judge_survival.lane_audit 与 calibration_validation，协议与 v3.6 和 v3.7 相同；校准表在此之前以 v3.7 测量 0.83 作为 multirt 先验。所有数字均与 judge 无关：标签是 label-rules，QA 是结构性的，judge 仅用于审计，分歧被记录而非修补。Carried from v3.7 且继续强制执行的内容包括：padloss 2,500、densecomp/subfloor/formfix lanes、qpar tags 1,960、hedge tags/view 3,101、engage 758、budget 3,024、NUL-zero、prompt-multiplicity cap 12、triple_id lineage、both-side scoring、kr cap 0.46 实际为 39.4%；sft 字节一致，保持 84,493 行、55,067,759 real gpt2 tokens，并使用 disallowed_special=()。来源为许可纯：arena55k 为 apache-2.0，ultrafeedback 为 mit，HelpSteer2/3 为 cc-by-4.0，oasst2 为 apache-2.0 并贡献 multirt lane 与 sft_multiturn trajectories，truthden_forge 为 cc-by-4.0，svgicons_forge 为 mixed-mit/isc，devloop_forge 为 cc-by-4.0，visfmt_forge 为 cc-by-4.0，densecomp_forge、subfloor_forge、formfix_forge、padloss_forge、multirt_forge 许可继承或 apache-2.0，provenance 位于 meta.origin_* 或 meta.triple_id。配置包括：preference.jsonl.gz 含 82,207 对，字段为 id、prompt、chosen、rejected、meta；preference_tight.jsonl.gz 含 21,010 对长度控制的高决定性偏好对；preference_multirt.jsonl.gz 含 10,796 对经人类排序的多轮偏好对；preference_strong.jsonl.gz 含 24,083 对强 tier 对，是可训练切片；preference_qpar.jsonl.gz 含 1,960 对长度对齐但内容有差距的对；preference_hedge.jsonl.gz 含 3,101 对无 fulfillment theater 的对；preference_budget.jsonl.gz 含 3,024 对查询条件长度对；preference_engage.jsonl.gz 含 758 对 close-the-loop 对；preference_multilingual.jsonl.gz 含 6,810 对多语言对；sft.jsonl.gz 含 84,493 行、55,067,759 real gpt2 tokens；sft_multiturn.jsonl.gz 含 3,029 条人类排序轨迹、2,658,832 gpt2；ARENAMAX_CARD.json 记录上述所有数字、漏斗 accounting、calibration_table 与 judge-survival block。该数据集适用于偏好训练、SFT 训练、多轮对话建模、长度控制偏好研究、校准与审计、多语言偏好研究等场景。

原始信息汇总

ArenaMax v3.8 数据集总结

• 数据集地址：https://huggingface.co/datasets/IO-AIR/arenamax
• 数据类型：Preference + SFT arena data
• 版本主题：ArenaMax v3.8 — multi-turn scale + trainable-slices release
• 核心特点：零生成；仅人类或规则证据标签；每项声明经测量
• 设计理由：RESEARCH_am38_plan.md in the sft-forge repo

v3.8 相对 v3.7 的新增与测量

项目	v3.7	v3.8
preference pairs	76,610	82,207（+5,597 multirt net）
preference_multirt view	5,199（4,000 en cap-bound）	10,796（6,087 en = FULL measured demand + 4,709 non-en）
preference_tight	20,155	21,010（multirt 2,484）
sft_multiturn（NEW config）	—	3,029 trajectories / 2,658,832 real gpt2
preference_strong（NEW view）	—	24,083（the validated tier, trainable）
multilingual category	3,297（4.3%）	6,810（8.3%）
dev_interaction category	18,203（23.8%）	20,287（24.7%）
calibration tiers	strong 22,598 / single 15,296 / contested 38,716	strong 24,083 / single 15,993 / contested 42,131
sft rows	84,493	84,493（carried byte-identical）
knowledge_reasoning share	42.2%	39.4%（natural fall, cap unchanged 0.46）
calibration table multirt prior	0.75（pre-build prior）	0.83（the v3.7 measurement）

v3.8 变动

1. multirt_forge EXPANSION（5,199 -> 10,796）

• v3.7 caps（4,000 en + 1,200 non-en）已饱和。
• funnel recorded demand：en 6,087 / es 2,577 / ru 2,027。
• v3.8 提高 caps（6,100 en + 6,000 non-en），让 funnel land what it lands。
• lane order is deterministic（biggest human rank-gap first），added rows are the NEXT-BEST human-ranked pairs。
• english lane lands at exactly its measured demand：6,087 = 4,000 carried + 2,087 new。
• 所有 gates 不变：review-passed、not deleted/synthetic、>= 120 chars、turn depth >= 4、triple-id dedup。
• per-tree cap 6 re-applied across the v3.7+v3.8 union（dropped 2）。
• non-english rows：4,709；es/ru/zh/de/fr/… 保持增长 multilingual category，使用 REAL human preference；无 synthesis，排除 English-tuned tag lanes 和 tight。

2. sft_multiturn（3,029）

• 将 deferred template question 作为 selection problem 回答。
• 遍历每个 eligible node 会发布 overlapping prefixes of the same conversation。
• 规则：one trajectory per tree = the deepest path that follows the best-ranked（human rank-0）assistant child at every prompter node。
• Prefix duplication 按构造消失；每个 assistant turn 携带 human rank evidence（meta.assistant_ranks）。
• Gates：every assistant turn ranked + review-passed + not synthetic/deleted；depth >= 4 messages；final turn >= 120 chars；intermediate >= 40。
• Schema：universal messages array（[{role, content}]）+ per-row provenance（apache-2.0、origin tree、category、real gpt2 count of rendered User:/Assistant: transcript）。
• Funnel：13,854 trees -> 9,108 too shallow + 1,311 no ranked final + 406 final too short -> 3,029 kept（1,737 en + 1,292 non-en；caps 4,000/2,000 NOT binding — demand == kept, documented）。
• carried sft.jsonl.gz 保持 byte-identical（84,493 / 55,067,759 gpt2）；NEW config，无 schema break。

3. preference_strong（24,083）

• calibration channel made trainable。
• strong tier（>= 2 rule-signal families，no length confound）作为 view 发布。
• 该切片为 trainer 实际想要的 slice，处于最高 expected label survival。
• Pure filter of the pool — zero new labels。

4. Calibration table updated with its own measurement

• multirt prior（0.75，set pre-build）替换为 v3.7 audit 的 measured 0.83。
• multirt rows 的 meta.calib.expected 现在携带 measured value。
• v3.8 audit 在 expanded mass 上重新测量。

Judge survival（measured）

• Unchanged doctrine：verbosity probe replicated across two judge families（GLM 0.944、DeepSeek V4-Flash 0.944 — a judge-CLASS property）。
• GLM（z-ai）是 standing channel。
• v3.8 blind dual-order audit（78 pairs：54 lanes + 24 tier-stratified，seed 20261101）shipped in ARENAMAX_CARD.json judge_survival.lane_audit。
• z-ai void burst mid-run 由两次 retry passes 修复（156 orders -> 6 void after retry，96% valid）。

lane	chosen-win	order agree
multirt_en	75%（9/12）	100%（12/12）
multirt_nonen	50%（5/10）	60%（6/10）
hedge_view	88%（7/8）	88%（7/8）
budget_view	88%（7/8）	88%（7/8）
engage_view	75%（6/8）	75%（6/8）
qpar_view	62%（5/8）	75%（6/8）

• Headline：expanded multirt_en lane 保持 v3.7 lane 质量（75% at perfect 100% order agreement，on 12/12 valid）。
• NEW multirt_nonen cell：50% with 60% order agreement，contested cell，honestly shipped as such。
• judge reads non-english human rank pairs near chance；这是 judge-limitation finding，不是 label defect（labels are rank-based label-rules）。
• qpar stays contested（62%/75%），consistent with v3.6 map。
• tier validation 在 expanded pool 重新验证 calibration channel：strong 78% vs contested 65% chosen-win（score rate 0.778 vs 0.649）-> calibration_validation.validated = true。
• 每个数字 judge-independent：labels are label-rules、QA is structural、judges only audit；disagreements documented，not patched。

Carried from v3.7（unchanged, still enforced）

• padloss（2,500）
• densecomp / subfloor / formfix lanes
• qpar tags（1,960）
• hedge tags/view（3,101）
• engage（758）
• budget（3,024）
• NUL-zero
• prompt-multiplicity cap 12
• triple_id lineage
• both-side scoring
• kr cap 0.46（met at 39.4%）
• sft carried byte-identical at 84,493 rows / 55,067,759 real gpt2 tokens（disallowed_special=()）

Sources（license-pure）

• arena55k（apache-2.0）
• ultrafeedback（mit）
• HelpSteer2/3（cc-by-4.0）
• oasst2（apache-2.0 — multirt lane + sft_multiturn trajectories）
• truthden_forge（cc-by-4.0）
• svgicons_forge（mixed-mit/isc）
• devloop_forge（cc-by-4.0）
• visfmt_forge（cc-by-4.0）
• densecomp_forge / subfloor_forge / formfix_forge / padloss_forge / multirt_forge（license inherited or apache-2.0；provenance in meta.origin_* / meta.triple_id）

Configs

• preference.jsonl.gz — 82,207 pairs {id, prompt, chosen, rejected, meta}
• preference_tight.jsonl.gz — 21,010 length-controlled decisive pairs
• preference_multirt.jsonl.gz — 10,796 human-ranked multi-turn pairs
• preference_strong.jsonl.gz — 24,083 strong-tier pairs（trainable slice）
• preference_qpar.jsonl.gz — 1,960 length-parity content-gap pairs
• preference_hedge.jsonl.gz — 3,101 no-fulfillment-theater pairs
• preference_budget.jsonl.gz — 3,024 query-conditioned length pairs
• preference_engage.jsonl.gz — 758 close-the-loop pairs
• preference_multilingual.jsonl.gz — 6,810 multilingual pairs
• sft.jsonl.gz — 84,493 rows / 55,067,759 real gpt2 tokens
• sft_multiturn.jsonl.gz — 3,029 human-rank trajectories / 2,658,832 gpt2
• ARENAMAX_CARD.json — every number above, funnel accounting, calibration_table, judge-survival block

搜集汇总

数据集介绍

构建方式

ArenaMax v3.8的构建立足于偏好对齐与监督微调数据的竞技场范式，采用确定性漏斗与人类排名证据驱动扩展。多轮锻造通道将上限从四千英语与一千二百非英语提升至六千一百英语与六千非英语，按人类排名差距由大到小纳入下一最佳配对，并在v3.7与v3.8并集上重新施加每树上限六，保留评审通过、非删除或合成、长度不少于一百二十字符、轮次深度至少四以及三标识去重等门控。多轮SFT模板通过选择问题求解：每棵树仅取一条最深轨迹，且在每轮提示节点选取人类排名零的助手子节点，消除前缀重复，所有助手轮均携带人类排名证据。来源遵循许可证纯净原则，覆盖apache-2.0、mit、cc-by-4.0等。

特点

在竞技场式人机交互数据谱系中，ArenaMax v3.8呈现出多轮规模与可训练切片的协同特征。偏好配对达82,207，多轮视图10,796，紧密视图21,010，强偏好切片24,083；多轮SFT配置提供3,029条轨迹与2,658,832真实gpt2词元。多语言类别增至6,810，占比8.3%，开发交互类别20,287。校准分层包含强24,083、单15,993、争议42,131。标签由规则定义，judge仅执行审计，扩展英语多轮保持75%选择胜与100%顺序一致，非英语多轮为争议单元格，强层验证78%对65%选择胜。所有指标judge独立，争议被如实记录而非修补。

使用方法

面向偏好优化、多轮SFT与校准训练，ArenaMax v3.8以压缩jsonl配置组织。用户可加载preference.jsonl.gz获取82,207对{id,prompt,chosen,rejected,meta}，选用preference_tight、preference_multirt、preference_strong等视图进行长度控制、多轮人类排名或强层训练。SFT配置使用messages数组与逐行溯源，sft.jsonl.gz含84,493行，sft_multiturn.jsonl.gz含3,029条人类排名轨迹。ARENAMAX_CARD.json记录漏斗账目、校准表与judge生存审计。使用时注意多语言非英语与争议单元格的judge局限，标签由规则定义，judge仅审计。许可证继承来源，可安全用于研究。

背景与挑战

背景概述

面向偏好学习与监督微调数据构建的持续演进，ArenaMax v3.8承接v3.7既定路线，聚焦多轮规模余量、多轮SFT模板与强层可训练切片。公开说明未列明具体作者与机构，设计理据载于sft-forge仓库的RESEARCH_am38_plan.md。其核心研究问题在于以人类或规则证据标签、零生成策略，整合偏好对与SFT竞技场数据，扩充多轮人类排序信号，校准强层、单一与争议层，并审计裁判存活。该版本将多轮偏好对提升至10,796，多语言类别增至6,810，提供24,083条强层可训练偏好切片及3,029条人类排序多轮轨迹，为多轮对齐、偏好优化与裁判可靠性研究提供可复现资源。

当前挑战

在多轮偏好对齐与监督微调数据供给中，ArenaMax v3.8直面多轮信号稀缺、长度混淆、标签可信度与裁判偏差等难题。领域层面，其应对多轮偏好对上限饱和、非英语人类排序被裁判接近随机读取、争议车道保留等问题；构建层面，扩展multirt_forge需重施加每树上限6并维持三重ID去重，多轮SFT须规避重叠前缀缺陷，采用每树最深且逐节点最优助手子路径，同时确保各助手轮具人类排名与评审通过。审计中z-ai空响应突发经重试修复，最终以结构性质检和标签规则保障标签独立于裁判，并将未决分歧如实记录而非修补。

常用场景

经典使用场景

在大规模语言模型对齐研究以人类偏好为核心信号的范式下，ArenaMax v3.8 的经典使用场景集中于偏好建模与多轮指令微调。其 preference 配置提供 82,207 对偏好样本，并细分 tight、multirt、strong、qpar、hedge、budget、engage 与 multilingual 等视图，可用于 DPO、奖励模型与判别式偏好学习；sft_multiturn 则以 3,029 条基于人类排序的轨迹支持多轮监督微调，sft 配置提供 84,493 行稳定训练语料。研究者可借其开展长度控制、奉承抑制、多语言偏好与校准训练等实验。

实际应用

在真实系统落地中，ArenaMax v3.8 可服务对话助手、多语言客服、知识推理、代码开发交互及风格安全控制等应用。其 preference_strong 与 preference_tight 适合训练低长度偏置的偏好模型，preference_hedge 与 preference_budget 有助于抑制空泛奉承与冗余作答，preference_multilingual 支持西、俄、中、德、法等多语种偏好优化；sft_multiturn 则用于构建具备跨轮记忆与连贯回复能力的代理。结合 ARENAMAX_CARD 中的漏斗与校准记录，工程团队可审计数据来源、类别比例和裁判一致性，从而更稳健地部署对齐模型。

衍生相关工作

围绕 ArenaMax 形成的相关经典工作，多沿偏好优化、多轮微调与裁判校准三条脉络展开。其源数据承接 arena55k、UltraFeedback、HelpSteer2/3、oasst2 等公开资源，并经由 multirt_forge、truthden_forge、devloop_forge 等构件整合为可训练视图；由此衍生出基于 preference_strong 的强信号偏好训练、基于 sft_multiturn 的多轮轨迹微调、基于 calibration_table 的裁判生存审计，以及针对 qpar、hedge、budget 等细粒度属性的对齐评估。v3.7 至 v3.8 的迭代本身亦构成数据版本化、可测量扩展与诚实发布的方法范例。