ÖFIT-StudieLLMs nutzen und digital souverän bleiben

Die fortschreitende Digitalisierung der öffentlichen Verwaltung führt dazu, dass große Sprachmodelle (LLMs) zunehmend in den Arbeitsalltag integriert werden – auch in der Bundesverwaltung. Damit wachsen aber auch die Ansprüche an digitale Souveränität. Insbesondere stellt sich dabei die Frage, wie die Bundesverwaltung technologische Abhängigkeiten vermeiden und gleichzeitig leistungsfähige KI-Systeme sicher einsetzen kann. Das Kompetenzzentrum für Öffentliche IT (ÖFIT) am Fraunhofer-Institut FOKUS hat nun eine Studie publiziert, welche die Eigenentwicklungen im Bereich generativer KI untersucht und deren Einfluss auf zentrale Souveränitätsziele wie Wechselmöglichkeit, Gestaltungsfähigkeit und Anbieterunabhängigkeit beleuchtet. Grundlage der Untersuchung waren eine umfassende Datenerhebung zu laufenden KI-Projekten sowie eine internationale Markt- und Maßnahmenbetrachtung in Bezug auf KI und LLMs.

Überschaubare Risiken für die digitale Souveränität

Die Ergebnisse zeigen deutlich: Durch selbst entwickelte KI-Systeme muss die Verwaltung für viele typische LLM-Anwendungsfälle nicht auf proprietäre Produkte großer, vor allem nicht-europäischer Technologiekonzerne zurückgreifen. So werden Risiken vermindert, sich in neue Abhängigkeiten zu Technologieanbietern begeben zu müssen oder bestehende Abhängigkeiten zu vertiefen. Zudem kommen die derzeit eingesetzten Lösungen primär als Arbeitsunterstützung zum Einsatz – ein Ausfall würde also nicht die Handlungsfähigkeit der Verwaltung gefährden. Die Risiken für die digitale Souveränität sind aus dieser Perspektive daher überschaubar. Zudem werden ressortübergreifende Systeme, die potenziell einer Vielzahl von Nutzenden zur Verfügung stehen, schon jetzt mit Blick auf digitale Souveränität entwickelt: So laufen die LLMs zumeist auf eigener Hardware; sie können bei Bedarf mit geringem bis mittlerem Aufwand ausgetauscht werden, da mehrere hinreichend leistungsstarke Modelle zur Auswahl stehen, und für Betrieb sowie Weiterentwicklung sind keine externen Anbieter nötig.

Maßnahmen, um unabhängig zu bleiben

Die Studie belegt, dass auf Ebene der LLMs bislang hauptsächlich auf nicht-europäische Open-Source-Lösungen gesetzt wird, die auf verwaltungsinterner Hardware gehostet sind. Angesichts sich verändernder Open-Source-Rahmenbedingungen empfehlen die Autorinnen und Autoren, die Entwicklung eines eigenen europäischen LLMs zu prüfen, das Verwaltungsanforderungen besser abbildet und langfristige Unabhängigkeit sicherstellt.

Gleichzeitig wirft die Marktanalyse Fragen zur Entwicklung eines breiteren Ökosystems für staatliche LLM-Anwendungen auf – etwa durch Förderung, gezielte Beschaffung oder föderale Kooperationen wie im Deutschland-Stack. Die Untersuchung weist jedoch auch auf Herausforderungen hin: komplexe rechtliche Anforderungen, Unsicherheiten bei der Bereitstellung zur Nachnutzung sowie ein Mangel an spezialisierter KI-Infrastruktur und Fachpersonal. In einer Reihe konkreter Handlungsempfehlungen fordert die Studie daher unter anderem gemeinsame Infrastrukturen, klare rechtliche Vorgaben, stärkere Open-Source-Initiativen und zusätzliche Maßnahmen zur Qualifizierung.