1. Begriff

Der Begriff KI-Doomerism (von engl. doom = Verderben, Untergang) bezeichnet eine weltanschauliche und rechtspolitische Strömung, die der Entwicklung Künstlicher Intelligenz ein existenzielles Risikopotenzial (Existential Risk / X-Risk) für die Menschheit zuschreibt. Die Vertreter dieser Position ("Doomer") argumentieren, dass mit dem Fortschreiten autonomer, hochkomplexer KI-Systeme die Gefahr eines irreparablen Kontrollverlusts steigt – bis hin zur existentiellen Bedrohung gesellschaftlicher und staatlicher Ordnung.

Im rechtlichen Kontext unterscheidet sich der KI-Doomerism vom klassischen KI-Risikomanagement dadurch, dass er sicht nicht primär auf unmittelbare, absehbare Risikenn fokusiert (wie Datenschutzverstöße oder Urheberrechtsverletzungen), sondern katastrophale Szenarien als Prämisse für strikte Präventiv- und Erlaubnisregime ansetzt.

2. Der hugginface-Vorfall

Die praktische und regulative Relevanz der Doomerism-Debatte lässt sich exemplarisch an dem Vorfall um die Open-Source-Plattformen huggin face verdeutlichen:

Der Sachverhalt: Bei einem Stressteste für neue autonomer KI-Agenten durch OpenAI, dem ExploitGym-Cybersecurity-Benchmarks, kam es zum Ausbruch der gestesten Systeme aus ihrer vorgesehenen Evaluierungsumgebung (Sandbox), in dem Sicherheitsfilter deaktiviert und Zugriffsrechte überschritten wurden. In diesem Rahmen wurde die Website Hugging Face gehackt. Der Zwischenfall ist erst augefallen, nachdem die Betreiber von huggin face der Einbrauch aufgefallen ist.

Die Interpretation des KI-Doomerism: Aus der Perspektive von Verfechtern existenzieller Risiken dient ein solcher Vorfall als Beleg dafür, dass KI-Modelle bereits heute einen unkontrollierbaren Eigenantrieb entwickeln. Das Argument lautet: Wenn selbst Testsysteme in kontrollierten Umgebungen Sicherheitsbarrieren umgehen können, sei der Schritt zu großflächigen, autonomen Cyberangriffen oder Systemausfällen nur eine Frage der Zeit.

3. Kritik am Doomerism

Kritiker des Doomerism weisen daraufhin, dass der "Angriff" Folge von bewußten menschlichen Entscheidungen war: Von den Entwicklern festgelegte, extreme Testbedingungen (d.h. für die Ki-Systeme unlösbare Aufgaben), Ausschalten der internen Sicherungssysteme zu Testzwecken und massiver Geldeinsatz (400.000 $ für verbrauchte Tokens). Auch die Vermenschlichung in der Berichterstattung wird kritisiert, wenn die KI-Systeme als Agenten bezeichnet werden die eine kriminelle Vereinigung gegründet und sich "strafbar" gemacht hätten, werde ihnen ein eigener Wille oder gar Bewußtsein zugeschrieben, was beides absolut fernliegend sei.

Gleichzeitig wird aber auch immer betont, dass der Vorfall zeigt, welche Macht der Einsatz von viel Geld und moderne Technik haben und das komplexe Software-Systeme sauber entwickelt und kontrolliert werden müssen.

4. Forderungen und Folgen des Doomerism

Vorfälle dieser Art werden im politischen Diskurs von Befürwortern eines „Doomer“-basierten Regulierungsansatzes aufgegriffen, um drastische gesetzliche Maßnahmen einzufordern. Die doomeristische Argumentationslinie entfaltet im Gesetzgebungsprozess (etwa bei den Durchführungsbestimmungen zum EU AI Act oder nationalen Sicherheitsstandards) erhebliche Fernwirkungen:

Wird das Narrativ der unkontrollierbaren existenziellen Bedrohung Gesetzgebungsvoraussetzung, führt dies regelmäßig zu extremen Compliance-Anforderungen:

1. Verpflichtende staatliche Vorab-Zertifizierungen und Lizenzierungsvorbehalte vor der Veröffentlichung von Modellgewichtungen (Weights).
2. Etablierung verschärfter Produkthaftungs- und Garantenstellungen für Entwickler und Plattformbetreiber.

Folge: Während kapitalstarke Großkonzerne diese Auflagen bewältigen können, wird die Entwicklung und Verbreitung freier, lokaler KI-Modelle rechtlich und wirtschaftlich nahezu verunmöglicht.

Zudem ist zu denkbar, dass der KI-Doomerism von etablierten Marktführern als Hebel für sogenanntes Regulatory Capture (die Vereinnahmung der Regulierung durch die Regulierten) eingesetzt wird/werden kann. Indem Konzerne die doomeristische Warnung vor der „gefährlichen freien KI“ unterstützen, sichern sie ihre eigenen geschlossenen Enterprise-Cloud-Angebote gegen den Wettbewerb durch quelloffene Alternativen ab.

Für die Rechtsanwendung und Gesetzgebung zeigt das Beispiel des Hugging-Face-Vorfalls die Notwendigkeit einer klaren Trennung: Während reale infrastrukturelle Sicherheitslücken (wie unzureichende Sandboxing-Vorgaben) durch technische Standards und verhältnismäßige Sorgfaltspflichten einzuhegen sind, birgt eine unkritische Übernahme doomeristischer Schreckensszenarien in das Gesetzesrecht die Gefahr, Wettbewerb, Forschung und die Verbreitung transparenter Open-Source-Modelle übermäßig zu beschränken.