Slovak Supermodel M1 (SSM1) : Matej Bel University SKRIPTOR project datasets

Slovenský supermodel pre rukopisy M1 (SSM1). Nová doplnená verzia : Model Transkribus ID 437773 West Slavic Supermodel 1.0. Model prepisu historických dokumentov v západoslovanských jazykoch Integruje čiastočné modely: a) Slovenský výskumný projekt UMB a ŠVK Banská Bystrica Skriptor na Slovensku 2020-2024-2025 + 100 strán Imrich Nagy rkp. Štátny archív v Nitre; b) Študentská grantová súťaž (SGS) na Slezskej univerzite v Opave (3 diplomy, 4 modely) c) Zimná škola HTR 2022, 2023, 2024. (Viedli: Dr. Jan Odstrčilík a Anna Michalcová) Výpočet trval približne 60 hodín. 250 cyklov, 399 806 slov; 71 129 riadkov Tréningová sada 1666 strán CER 2,98% Validačný súbor 166 strán CER 12,66 % Presnosť 87,34 % je nedostatočná! (min 95%) 24. apríla 2024 o 9:09 sme spustili Transkribus Expert v. 1.27.0 tvorbu nového súhrnného slovenského supermodelu. Podkladom pre vytvorenie supermodelu pre určité slovenské rukopisy boli čiastkové modely riešiteľov problémov v projekte Skriptor Model má označenie ID63569 Slovak Supermodel M1 (SSM1). Na vytvorenie modelu použitých 1359 stran v kvalite Ground Truth (GT); 56713 riadkov a 333777 slov. Z toho 1224 strán na školenie (Train set) a 135 strán na overenie nového modelu (Validation set). Podklady k tomuto vzoru sú v slovenskom, latinskom, maďarskom a českom jazyku, slovakizovanej češtine, ai. Vstupné rukopisy majú rôznu kvalitu z hľadiska digitalizovaných. Niektoré digitalizované obrázky boli použité z digitálnych úložísk, zvyčajne v dobrej kvalite 600 dpi a niektoré výsledky boli skenovania pomocou zariadení ScanTent a softvéru DocScan v dostatočnej kvalite 300 dpi. Ukážky písiem dokumentov nájdete vo výskumnej štúdii Skriptor. Zdrojové súbory údajov: Typ Vlastník Model Názov modelu Počet strán GT Spolupráca M Bôbová Mária ID49629 SKRIPTOR_knižničný_katalóg_29.9P 25 (22/3) M Katuščák Dušan ID63169 SKRIPTOR_Slovak_hand 331 (300/31) Transkripcia : K. Komorová, M. Bôbová, J. Kiss; Dat.analýza : E. Kowalská, I. Kollárová, T.Albert M Kunec Patrik ID60311 BBBDA - Kanonický vizitačný protokol, 1756 - 8. 50 (43/7) M Kurhajcová Alica ID57344 SKRIPTOR_Model JM Hurban 655 (590/65) M Maliniak Pavol ID61347 Abrahámov model 18 90 (82/8) M Nagy Imrich ID60197 SKRIPTOR_Katalóg_Koháry_SABB 137 (125/12) M Tomeček Oto ID59197 Neolatinské kovy 1820 129 (117/12) M1 Všetky ID63569 Slovenská supermodelka M1 (SSM1) 1328 (1359) Riešitelia APVV (rozdiel: rôzne parametre?) Samotné ukážky považujeme za veľmi dôležité pre ďalšie využitie a zdokonaľovanie modelu, keďže ďalší bádatelia získajú predstavu o podobnom alebo odlišnom písaní vlastných dokumentov, ktoré chcú prepísať. Boli dosiahnuté hodnoty Súbor vlakov: 4,90 % a Validačný súbor: 5,30 %. Vytvorenie modelu SSM1 na serveri Transkribus trvalo dva dni, 5 hodín, 16 sekúnd, teda 53 hodín a 58 minút. Proces tvorby bol ukončený po 174 cykloch (epochách). Model SSM1 je prvým pokusom na Slovensku o vytvorenie prostredníctvom ktorého by bolo možné automaticky sprístupniť určité typy bežných dokumentov, ktoré sa podobajú fontom na ich tvorbu. ID63569 Slovak Supermodel M1 (SSM1) nemožno v žiadnom prípade považovať za definitívny univerzálny model na prepis historických rukopisov slovenskej proveniencie všetkých typov a období. Rozmanitosť písiem a štýlov rukopisu je nekonečná a optimálneho agregovaného modelu je podporovaná pre ďalších výskumníkov a nadšencov v nasledujúcich rokoch. Verím však, že náš prvý agregovaný model SSM1 môže byť automatický prepis ďalších analogických rukopisov. Riešiteľský tým plánuje sprístupniť datasety v rámci udržateľnosti projektu v rokoch 2024-2028 prednostné na výskumné a vzdelávacie účely pre inštitúcie a výskumníkov, ktorí chcú prispieť k vytvoreniu modelu historických rukopisov v západoslovanských jazykoch, respektíve jazykoch slovenského a českého pôvodu. Copyright: CC BY-NC-SA. Samozrejme, takýto automatický prepis neprinesie okamžite uspokojivé výsledky. Môže však byť potrebný „hrubý“ automatický prepis ďalších stránok krok za krokom, ich ručnú opravu na stav GT a následné použitie väčších súborov údajov GT na spresnenie nového modelu založeného na našom SSM1. Po vytvorení ďalších stoviek a tisícok stránok GT bude možné pristúpiť k tvorbe ďalších generácií nových modelov založených na SSM. Vývoj by mohol pokračovať pre rukopisy s modelmi nových generácií SSM2, SSM3 atď. Respektívy pre tlač a sadzbu (P-Print), ako sú supermodely SSP1, SSP2, SSP3 atď. (Google Translate)