SFP-Study Stage 1: System Frame Persistence (Formal Evaluation)

Diese Studie untersucht, ob große Sprachmodelle (LLMs) in der Lage sind, explizite formale Regeln über sequentielle Interaktionen hinweg aufrechtzuerhalten. Mithilfe des System Frame Persistency (SFP)-Frameworks wurden zwei Testbedingungen angewendet: eine strikte formale Beschränkung (progressive Wortzählung) und eine reduzierte Strukturvariante. In acht Modellen, jeweils fünf Durchläufen und insgesamt 320 Antworten konnte keines der Modelle unter formalen Bedingungen die vollständige Regelpersistenz aufrechterhalten. Die Fehler traten systematisch innerhalb der ersten zwei bis drei Schritte auf, was darauf hindeutet, dass formale Beschränkungen während der fortlaufenden Generierung nicht zuverlässig erhalten bleiben. Im Gegensatz dazu zeigten vereinfachte Regelstrukturen eine deutlich höhere Stabilität. Die Ergebnisse deuten darauf hin, dass LLMs zwar Regeln erkennen können, diese aber unter sequenzieller Belastung nicht konsistent anwenden. Dies spricht eher für eine strukturelle Einschränkung bei der Aufrechterhaltung formaler Invarianten als für ein mangelndes Regelverständnis.