遇见数据集

kudos-eval v1.2.0: resultater for Borealis 2, Gemma 4, gpt-5.6-terra og gpt-5-mini (kryssvalidert mellom maskinelle metoder, ikke validert mot menneske)

收藏
Zenodo2026-11-04 更新2026-11-05 收录
官方服务:

资源简介:

Resultatpost for kudos-eval v1.2.0 (git-tagg v1.2.0, commit 0b4be30c0e921edb759f1e9c589e1cabdb5afb02 i det private repoet avalyset/kudos-eval). Dette er en ny versjon av v1.1.0 (10.5281/zenodo.23949672), utvidet med tillegg 3 (10.5281/zenodo.23951429): gpt-5-mini og gpt-5.6-terra kjørt med de dekodingsparameterne digdir/genki sender for Kunnskapsassistenten. Studien følger forhåndsregistreringen 10.5281/zenodo.23943451, tillegg 1 10.5281/zenodo.23945170 og tillegg 2 10.5281/zenodo.23948702. Kryssvalidert mellom maskinelle metoder, ikke validert mot menneske. Nytt, terra-prod mot gpt-5-mini (primært): svarkvalitet «ingen forskjell av betydning» (99,1 % mot 99,1 %, 97,5 %-intervall [−1,47; 1,46] pp). Sidehenvisning inkonklusiv (gpt-5-mini 95,4 %, terra-prod 79,2 %, [5,75; 28,90] pp). Nytt, Borealis 2 mot gpt-5-mini (primært): svarkvalitet «ingen forskjell av betydning» (98,1 % mot 99,1 %). Sidehenvisning inkonklusiv (85,2 % mot 95,4 %, [−18,75; −2,97] pp). Nytt, sekundært: terra mot terra-prod gir «ingen forskjell av betydning» på begge målene. Borealis 2 mot terra-prod gir svarkvalitet «ingen forskjell av betydning» og sidehenvisning inkonklusiv. Avslag med avslagsregelen: ingen feilaktige avslag av betydning. Riktige avslag 100 % for alle fire modellene (n = 12). Kryssvalidering: alle metrikkene validert for begge de nye konfigurasjonene. Begge de nye konfigurasjonene er én stokastisk kjøring med API-standardene (temperatur 1). Bare dekodingen er genkis, ikke søk, prompter eller agentløkke. Pakken inneholder resultater, avvik, beslutninger (ADR), analyseresultater, kode og tester, men ikke spørsmål, fasiter, holdout eller rålogger. Laget med Claude Code (Claude Opus 5.5) som verktøy, under forfatterens styring.

提供机构:
Zenodo
创建时间:
2026-11-04
二维码
社区交流群
二维码
科研交流群
商业服务