遇见数据集

kudos-eval v1.1.0: resultater for Borealis 2 mot Gemma 4 og gpt-5.6-terra (kryssvalidert mellom maskinelle metoder, ikke validert mot menneske)

收藏
Zenodo2026-11-04 更新2026-11-05 收录
官方服务:

资源简介:

Resultatpost for kudos-eval v1.1.0 (git-tagg v1.1.0, commit 17609e18807c10d91befcdbd85a834ff79f90bad i det private repoet avalyset/kudos-eval). Dette er en ny versjon av v1.0.0 (10.5281/zenodo.23947387), utvidet med tillegg 2 (10.5281/zenodo.23948702): Borealis 2 og Gemma 4 mot gpt-5.6-terra. Studien følger forhåndsregistreringen 10.5281/zenodo.23943451 og tillegg 1 10.5281/zenodo.23945170. Kryssvalidert mellom maskinelle metoder, ikke validert mot menneske. Fra v1.0.0, Borealis 2 mot Gemma 4: svarkvalitet og sidehenvisning «ingen forskjell av betydning». Nytt, Borealis 2 mot gpt-5.6-terra: svarkvalitet «ingen forskjell av betydning» (98,1 % mot 99,1 %, 97,5 %-intervall [−3,21; 0,91] pp). Sidehenvisning inkonklusiv (85,2 % mot 80,6 %, [−3,27; 14,17] pp). Nytt, Gemma 4 mot terra (sekundært): svarkvalitet «ingen forskjell av betydning», sidehenvisning inkonklusiv. Avslag med avslagsregelen: ingen feilaktige avslag av betydning. Riktige avslag 100 % for alle tre modellene. Kryssvalidering på terra-svarene: alle metrikkene er validert. Spørsmål, fasiter, holdout, dokumenttekster og modellsvar er ikke med. Koden er under MIT, og dokumentasjonen og resultatene under CC BY 4.0. English: Version 1.1.0 of the kudos-eval results, adding addendum 2: Borealis 2 and Gemma 4 versus gpt-5.6-terra. Answer quality showed no difference of importance for either pair, and page citation was inconclusive. The results are cross-validated between machine methods, not validated against a human. KI-erklæring: koden, analysene og rapportene er laget med Claude Code (Claude Opus 5.5) som verktøy, under forfatterens styring. Beslutningene er forfatterens. Metadata rettet 2026-11-04 etter publisering: tittel, beskrivelse, versjon og relasjonen til tillegg 2 var ved en feil kopiert fra v1.0.0. Filene er uendret.

提供机构:
Zenodo
创建时间:
2026-11-04
二维码
社区交流群
二维码
科研交流群
商业服务