遇见数据集

Ratsvorlagen-Korpus deutscher Kommunen: 43.127 Dokumente Long-Context-Verwaltungstext (Leipzig, Osnabrück, Dresden, Freiburg im Breisgau)

收藏
Zenodo2026-08-03 更新2026-08-13 收录
官方服务:

资源简介:

Volltexte kommunaler Ratsdokumente aus vier deutschen Städten, aufbereitet für Training und Evaluation von Sprachmodellen. 43.127 Dokumente, 303 Millionen Tokens (cl100k_base), davon 1.540 Dokumente über 32K Tokens und 388 über 100K. Das längste Dokument hat 7.375.767 Tokens. Der Korpus schliesst eine Lücke bei deutschem Long-Context-Material: zusammenhängende, fachlich dichte Verwaltungstexte in einer Länge, die sonst kaum frei verfügbar ist. Enthalten sind Beschlussvorlagen, Anträge, Anfragen und Informationsvorlagen aus den Ratsinformationssystemen (OParl) von Leipzig, Osnabrück, Dresden und Freiburg im Breisgau, jeweils der öffentliche Teil. Inhalt. JSONL je Stadt (zstd-komprimiert), ein Dokument je Zeile, mit Metadaten und Volltext. Dazu ein Index aller Dokumente ohne Text zum Nachrechnen der Verteilungen, eine Vorschaudatei mit vollständigen Dokumenten quer durch die Längenklassen, sämtliche Kennzahlen maschinenlesbar in STATS.json sowie Prüfsummen. Das README dokumentiert Erhebung, Vollständigkeit, Duplikate und Boilerplate-Anteil. Datenschutz. Kontaktdaten sind maskiert: E-Mail-Adressen, Telefon- und Faxnummern sowie IBANs wurden durch Platzhalter ersetzt (3.799 der 43.127 Dokumente waren betroffen). Personennamen bleiben erhalten, weil Ratsmitglieder und Verwaltungsmitarbeitende hier in amtlicher Funktion handeln und die Texte ohne Namen ihren Sinn verlieren. Alle Dokumente stammen aus anonym zugänglichen OParl-Endpunkten; es wurde keine Zugangsbeschränkung umgangen. Lizenz und Attribution. Leipzig und Osnabrück stehen unter CC BY 4.0, Dresden unter DL-DE/Zero 2.0, Freiburg im Breisgau unter DL-DE/BY 2.0. Für die Sammlung gilt CC BY 4.0 als die strengste dieser Lizenzen. Bitte nennen Sie die Stadt Leipzig, die Stadt Osnabrück, die Landeshauptstadt Dresden und die Stadt Freiburg im Breisgau als Quellen der jeweiligen Dokumente. Erhebung. Quell-Snapshot vom 29.07.2026, Abruf am 31.07., 01.08. und 02.08.2026 (Freiburg im Breisgau und die Dresdner Anlagen am 02.08.) mit einem Request pro Sekunde je Host (Dresden ein Request pro drei Sekunden) und identifizierendem User-Agent. Erstellt im Rahmen von InfraNode, einer schlüssellosen offenen Datenschnittstelle für deutsche Städte.

提供机构:
Zenodo
创建时间:
2026-08-03
二维码
社区交流群
二维码
科研交流群
商业服务