kudos-eval v1.3.0: resultater for Borealis 2, Gemma 4, gpt-5.6-terra og gpt-5-mini, med kostnad og nynorsk målt med Digdirs instrumenter (kryssvalidert mellom maskinelle metoder der det står, ikke validert mot menneske)
收藏资源简介:
Resultatpost for kudos-eval v1.3.0 (git-tagg v1.3.0, commit 94e1b006f21e8d4ce2b3c22960740d0e0e5d2569 i det private repoet avalyset/kudos-eval). Dette er en ny versjon av v1.2.0 (10.5281/zenodo.23953247), utvidet med tillegg 4 (10.5281/zenodo.23955992): kostnad og nynorsk målt med Digdirs egne instrumenter fra genki commit 9dffe4a. Studien følger forhåndsregistreringen 10.5281/zenodo.23943451 og tilleggene 10.5281/zenodo.23945170, 10.5281/zenodo.23948702 og 10.5281/zenodo.23951429. Digdirs instrumenter: ingen av detectLanguage, detectWrittenStandard og no-bokmal-words ble validert mot Digdirs kriteriedommer (claude-opus-5-5) på de 175 nynorske svarene (0,349, 0,589 og 0,882 mot kravet 0,9). detectLanguage svarte «unknown» for 132 av 175. Nynorskandel, Opus (ikke kryssvalidert, Opus mot Qwen 0,878): Borealis 2 77,1 %, Gemma 4 71,4 % og 97,1 % for terra, terra med genki-parametere og gpt-5-mini. Gemma 4 mot de tre API-konfigurasjonene: forskjell av betydning. Borealis 2 mot dem: inkonklusiv. Digdirs 6 nynorskspørsmål (beskrivende): avvisningssaken besto for ingen av konfigurasjonene med genkis egen vurdering. Avslagsmønstrene i genki er på bokmål og engelsk, og Opus vurderte avvisningen som oppfylt for 4 av 5. Kostnad (beskrivende, regnet ut i ettertid): gpt-5-mini om lag 0,0023 USD per svar, terra om lag 0,0113, Borealis 2 og Gemma 4 samlet 0,0115 på Modal med oppstart. API-pris og leid GPU kan ikke sammenlignes direkte. Resultatene er ikke validert mot menneske. Pakken inneholder resultater, avvik, beslutninger (ADR), analyseresultater, kode, tester og Digdirs MIT-lisensierte kildefiler, men ikke spørsmål, fasiter, holdout eller rålogger. Laget med Claude Code (Claude Opus 5.5) som verktøy, under forfatterens styring.



