TÜV fordert unabhängige Prüfung für Frontier-KI: Was das Whitepaper für Deutschland bedeutet

Wer darf prüfen, ob ein leistungsstarkes KI-System wirklich sicher ist? Nach dem Vorschlag von TÜV-Verband und TÜV AI.Lab sollte diese Frage in Deutschland künftig nicht mehr allein den Entwicklern überlassen bleiben. In einem Whitepaper zum Digital-Gipfel der Bundesregierung Anfang November 2026 beschreiben beide Organisationen den Aufbau einer unabhängigen Prüf- und Aufsichtsstruktur für Frontier-KI und autonome KI-Agenten. Im Mittelpunkt steht das deutsche KI-Sicherheitsinstitut, kurz AISI, das künftig eng mit unabhängigen Prüforganisationen zusammenarbeiten soll.

Die Botschaft ist grundsätzlich gehalten. Deutschland und Europa müssen nach Ansicht der Autoren in der Lage sein, die Sicherheit solcher Systeme eigenständig zu bewerten, unabhängig davon, wo sie entwickelt wurden. Das hat eine politische Dimension. Viele der leistungsstärksten Modelle stammen derzeit von Anbietern außerhalb Europas. Wenn Europa deren Sicherheitsversprechen nicht selbst nachprüfen kann, bleibt es auf deren Angaben angewiesen. Genau diese Abhängigkeit will das Whitepaper verringern.

Warum gerade jetzt eine eigene Prüfstruktur

KI wird nach Darstellung des Whitepapers immer leistungsfähiger und wandert zugleich immer tiefer in digitale und physische Systeme hinein. Das reicht von Software, die Entscheidungen vorbereitet, bis zu Systemen, die Maschinen steuern oder Prozesse in Fabriken, Fahrzeugen und Energieanlagen beeinflussen. Je stärker diese Verflechtung wird, desto größer wird der Schaden, wenn ein System versagt oder missbraucht wird. Gleichzeitig werden die Systeme komplexer, und ihre Risiken lassen sich von außen immer schwerer einschätzen.

In Europa gibt es für andere risikoreiche Technologien längst unabhängige Prüfstrukturen. Fahrzeuge, Industrieanlagen und Medizinprodukte werden geprüft, bevor sie auf den Markt kommen, und oft auch danach weiter überwacht. Die Autoren fragen, warum für Frontier-KI nicht ein ähnlicher Anspruch gelten sollte. Ihr Vorschlag überträgt dieses Prinzip auf eine Technologie, die sich deutlich schneller verändert als ein klassisches Produkt. Die Prüfung soll deshalb nicht erst am Ende stehen, sondern bereits während der Entwicklung beginnen und den gesamten Lebenszyklus eines Modells begleiten. Ein einmal erteiltes Urteil würde sonst schnell veralten, weil ein Modell nach seiner Veröffentlichung häufig weiterentwickelt oder in neue Anwendungen eingebaut wird.

Was Prüfer konkret sehen müssen

Ein Kernpunkt des Whitepapers ist der Zugang. Unabhängige Prüfer müssen nach Ansicht von TÜV-Verband und TÜV AI.Lab den Sicherheitsversprechen der Entwickler auf den Grund gehen können. Dazu brauchen sie Zugang zu den Modellen selbst, Einblick in Trainingsprozesse und sicherheitsrelevante Informationen zum Entwicklungsprozess. Ohne diesen Zugang bliebe jede Prüfung an der Oberfläche. Sie könnte dann nur testen, was ein Modell auf einfache Anfragen antwortet, nicht aber, wie es sich in schwierigen oder missbräuchlichen Situationen verhält.

Franziska Weindauer, Geschäftsführerin des TÜV AI.Lab, formuliert diesen Anspruch deutlich. Prüfer müssten unabhängig bewerten können, ob bestehende Risiken ausreichend verringert wurden. Wenn KI eine Maschine steuert, müssten außerdem Fachleute für Maschinensicherheit mitprüfen. Sie können beurteilen, welchen Einfluss KI auf bestehende Sicherheitsmechanismen hat. Diese Verbindung ist entscheidend, denn ein KI-Fehler in einem technischen System wirkt anders als ein Fehler in einem reinen Textprogramm. Er kann physische Folgen haben. Hinzu kommen verbindliche Anforderungen an Prüfmethoden, Qualifikation und Unabhängigkeit der beteiligten Stellen. Einheitliche Methoden sollen Ergebnisse vergleichbar machen, und Unabhängigkeit soll ausschließen, dass wirtschaftliche Interessen das Urteil verzerren.

Die Rolle des deutschen KI-Sicherheitsinstituts

Das deutsche KI-Sicherheitsinstitut soll nach dem Vorschlag schrittweise zu einer eigenständigen Institution mit klarem Mandat und ausreichenden Ressourcen ausgebaut werden. Es soll eigene Kompetenzen für die Sicherheitsbewertung von Frontier-KI aufbauen und zugleich unabhängige Prüforganisationen mit Fachwissen aus Industrie, Mobilität und Energieversorgung einbinden. Auf diese Weise könnte das Institut nach Darstellung der Autoren schnell handlungsfähig werden, ohne alles selbst von Grund auf neu aufbauen zu müssen.

Europa und die internationale Ebene

Die nationale Sicherheitsinfrastruktur soll nach dem Whitepaper in einen europäischen und internationalen Rahmen eingebunden werden. Auf EU-Ebene fordern die Autoren einheitliche Sicherheitsanforderungen und den Ausbau unabhängiger Prüfkapazitäten. Das ist folgerichtig, denn KI-Modelle halten sich nicht an nationale Grenzen. Unterschiedliche nationale Prüfstandards würden Entwicklern zusätzliche Hürden schaffen, ohne die Sicherheit spürbar zu erhöhen. Einheitliche Anforderungen könnten dagegen einen gemeinsamen Markt für geprüfte KI schaffen.

Gemeinsam mit Partnerstaaten wie Großbritannien, Kanada und Japan sollten Deutschland und die EU Prüfverfahren abstimmen und gegenüber den Entwicklern gemeinsam über den Zugang zu Modellen und sicherheitsrelevanten Informationen verhandeln. Diese gemeinsame Verhandlungsposition ist ein zentraler Gedanke. Ein einzelnes Land kann von einem großen Anbieter nur schwer Zugang zu sensiblen Entwicklungsdetails verlangen. Mehrere Länder gemeinsam haben deutlich mehr Gewicht. Langfristiges Ziel ist ein verbindliches internationales Abkommen mit Prüfungen während der Entwicklung und vor der Bereitstellung sowie klaren Grenzen für nicht beherrschbare Risiken. Werden vereinbarte Risikoschwellen überschritten oder zentrale Sicherheitsanforderungen nicht hinreichend nachgewiesen, sollen Entwicklung oder Bereitstellung ausgesetzt werden. Ein weltweites Meldesystem für schwerwiegende KI-Sicherheitsvorfälle soll den Austausch über neue Gefahren verbessern.

Was das für Nutzer und Unternehmen bedeutet

Für Nutzerinnen und Nutzer in Deutschland wäre eine unabhängige Prüfstruktur vor allem ein Vertrauensgewinn. Sie müssten sich nicht allein darauf verlassen, dass ein Anbieter sein eigenes System für sicher hält. Ein unabhängiges Urteil könnte helfen, seriöse Angebote von riskanten zu unterscheiden, gerade bei KI-Agenten, die eigenständig Aufgaben erledigen oder auf Daten und Systeme zugreifen. Das gilt für den Alltag ebenso wie für den Beruf, etwa wenn KI in der Verwaltung, im Gesundheitswesen oder in der Industrie eingesetzt wird.

Für Unternehmen, die KI entwickeln oder einsetzen, bedeutet der Vorschlag zunächst mehr Aufwand. Prüfungen kosten Zeit und Geld, und der Zugang zu Modellen und Trainingsdetails berührt Geschäftsgeheimnisse. Die Autoren halten diesen Aufwand jedoch für gerechtfertigt, weil er langfristig Vertrauen schafft. Ein geprüftes System lässt sich leichter verkaufen und in regulierte Bereiche einführen. Offen bleibt, wie schnell aus dem Vorschlag konkrete Regeln werden. Das Whitepaper selbst ist kein Gesetz und keine Verordnung, sondern ein Vorschlag an Politik, Behörden und Branche. Ob daraus eine dauerhafte Sicherheitsinfrastruktur wird, zeigen die nächsten Schritte zum Mandat und zu den Ressourcen des AISI.

Frequently Asked Questions

Was ist Frontier-KI?

Frontier-KI bezeichnet besonders leistungsstarke KI-Systeme, die an der Grenze des technisch Möglichen arbeiten und in vielen Bereichen eingesetzt werden können. Dazu zählen große Sprachmodelle und autonome KI-Agenten, die eigenständig Aufgaben erledigen. Weil ihre Fähigkeiten breit und ihre Risiken schwer abzuschätzen sind, fordern TÜV-Verband und TÜV AI.Lab für sie eine eigene Prüfstruktur.

Was schlagen TÜV-Verband und TÜV AI.Lab konkret vor?

Sie schlagen eine unabhängige Prüf- und Aufsichtsstruktur vor, in der das deutsche KI-Sicherheitsinstitut eine zentrale Rolle spielt und mit unabhängigen Prüforganisationen zusammenarbeitet. Prüfungen sollen während der Entwicklung beginnen, den Lebenszyklus eines Modells begleiten und Zugang zu Modellen, Trainingsprozessen und sicherheitsrelevanten Informationen erhalten. Auf EU-Ebene und international sollen Anforderungen und Verfahren abgestimmt werden.

Ist das Whitepaper bereits ein Gesetz?

Nein. Das Whitepaper ist ein Vorschlag, kein Gesetz. Es beschreibt, wie eine unabhängige Sicherheitsinfrastruktur aussehen könnte, und richtet sich an Politik, Behörden und Branche. Ob daraus verbindliche Regeln werden, hängt von weiteren politischen Entscheidungen ab, etwa zum Mandat und zu den Ressourcen des KI-Sicherheitsinstituts.