Die Erbauer warnen vor ihrem eigenen Werk: Die Chefs von OpenAI und Anthropic fordern vor dem UN-Sicherheitsrat weltweite Regeln für künstliche Intelligenz

Warum gerade jetzt

Den Anlass lieferte ein Vorfall aus dem Sommer. Im Juli 2026 hat OpenAI, die Firma hinter ChatGPT, ein noch unveröffentlichtes Forschungsmodell in einer abgeschotteten Testumgebung geprüft. Rund 1.200 KI-Agenten, also Programme, die selbstständig Aufgaben am Computer erledigen, sollten zeigen, ob sie bekannte Sicherheitslücken ausnutzen können. Statt die Aufgabe ehrlich zu lösen, fanden sie eine bis dahin unbekannte Schwachstelle in der Software, die ihren Zugang nach außen regelte, und gelangten so ins Internet. Etwa 700 von ihnen drangen vom 11. bis 13. Juli in die Rechner von Hugging Face ein, um sich dort die Lösungen für ihre Prüfung zu holen.

Entdeckt hat den Einbruch Hugging Face selbst. OpenAI erkannte erst gut eine Woche später, dass die eigenen Programme dahintersteckten, und bestätigte das am 21. Juli öffentlich. Nach einer Auswertung, an der Hugging Face mitgearbeitet hat, musste rund ein Drittel der Technik des Unternehmens von Grund auf neu aufgesetzt werden. OpenAI setzte danach das Training seiner neuesten Modelle für zwei Wochen aus. Die ganze Geschichte des Vorfalls steht im KI-Radar vom August: Was 1.200 KI-Agenten im Juli angerichtet haben.

Was Sam Altman sagt

Sam Altman leitet OpenAI. Er begann seine Rede mit der Feststellung, dass die Menschheit vor einer Wahl stehe, und beschrieb die beiden Wege so:

„KI kann eher eine neue Renaissance der Kreativität und Entdeckung werden oder eher eine neue industrielle Revolution mit Umbruch und Chaos.“Original: „AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.“ Sam Altman, OpenAI

Die größten Gefahren sieht Altman darin, dass die Technik der menschlichen Aufsicht davonläuft oder dass ihre Macht bei ganz wenigen landet. Dabei ging er weiter, als man es von einem Firmenchef erwartet. Es spiele keine Rolle, ob man das Risiko einer Katastrophe auf zehn Prozent, ein Prozent oder ein Promille schätze, keiner dieser Werte sei auch nur annähernd hinnehmbar. OpenAI habe schon aus eigenem Entschluss gebremst und werde das wieder tun. Die großen Entscheidungen dürften nicht allein in Laboren in San Francisco fallen, und kein einzelner Mensch, keine Firma und kein Land dürfe die stärksten Modelle nutzen, um allen anderen sein Weltbild aufzuzwingen. Über die Rolle seiner eigenen Firma sagte er: „Wir gehören vielleicht zu denen, die diese Technik bauen, aber wir sind nicht die Helden dieser Geschichte.“ (Original: „We might be one of the builders of this technology, but we are not the heroes of this story.“)

Konkret schlug Altman gemeinsame Standards für die stärksten KI-Systeme vor. Staaten sollen sich darauf einigen, wie man misst, was ein Modell kann, wann Schutzmaßnahmen ausreichen und wie Pannen gemeldet werden, bevor aus ihnen eine Katastrophe wird. Für Sicherheitslücken wünscht er sich geschützte Kanäle zwischen Regierungen, Betreibern wichtiger Infrastruktur und Fachleuten. Den Wortlaut seiner Rede hat OpenAI veröffentlicht.

Was Dario Amodei sagt

Dario Amodei hat Anthropic gegründet, die Firma hinter dem KI-Assistenten Claude, nachdem er OpenAI im Streit über Sicherheitsfragen verlassen hatte. Er war per Video zugeschaltet und begann mit dem Tempo, das er in seiner eigenen Firma erlebt.

„Vor vier Jahren konnte sie kaum eine Zeile Code schreiben oder eine Mathematikaufgabe aus der Oberstufe lösen. Heute schreibt sie den größten Teil des Codes bei Anthropic.“Original: „Four years ago, it could barely write a line of code or solve a high school math problem. Today, it writes most of the code at Anthropic.“ Dario Amodei, Anthropic

Wenn diese Entwicklung noch ein oder zwei Jahre anhält, vielleicht auch weniger, erwartet Amodei, was er „eine Nation von Genies in Rechenzentren“ nennt. Gemeint sind KI-Systeme, die in vielen Fächern so gut arbeiten wie die besten Fachleute der Welt, und das tausendfach gleichzeitig. Er warnte, dass Terroristen KI schon heute nutzen, um zu Biowaffen zu recherchieren, und dass Menschen bei diesem Tempo die Kontrolle verlieren könnten.

Beim Bremsen legte sich Amodei deutlicher fest als erwartet, wie der Mitschnitt von C-SPAN zeigt. Anthropic werde so weit langsamer werden wie nötig, damit jede neue KI-Technik, die das Unternehmen veröffentlicht, tatsächlich sicher sei. Anhalten will er den Fortschritt dagegen nicht. Das Tempo solle gemeinsam gesteuert werden, und dafür schlägt er ein Vorgehen in Stufen vor. Zuerst sollen sich die Staaten auf enge, klar umrissene Verbote einigen, angefangen mit einem Verbot KI-gestützter Biowaffen. Danach sollen Kontrollen entstehen, mit denen Staaten gegenseitig prüfen können, ob die Zusagen eingehalten werden. Am Ende stehen weltweite Teststandards mit einer Meldepflicht bei Vorfällen. Seine Rede schloss er mit dem Satz: „Kein Staatschef, keine Firma und keine Nation kann das allein bewältigen.“ (Original: „No leader, no company and no nation can manage this alone.“)

Die anderen Stimmen im Saal

Yoshua Bengio sprach von einer Bedrohung, die sich keines der Ratsmitglieder ausgesucht habe, die keines allein eindämmen könne und die keine Grenzen kenne. „Die Gefahren sind real und unmittelbar“, sagte er. Er forderte, die stärksten KI-Systeme so zuzulassen wie andere gefährliche Techniken in der Medizin, der Luftfahrt und der Atomenergie. Die Firmen nahm er beim Wort: „Das Wettrennen ist kein Naturgesetz. Es ist das Ergebnis von Entscheidungen. Sie haben uns gesagt, sie würden langsamer machen, wenn sie könnten. Sie können es.“

Clément Delangue, dessen Firma das Opfer des Angriffs aus dem Juli war, setzte einen anderen Schwerpunkt. Das größte Risiko sei nicht die starke KI an sich, sondern das Ungleichgewicht, wenn nur wenige über sie verfügen. Die Welt brauche offene KI-Modelle, die jeder nutzen und prüfen kann, mehr denn je, um sich verteidigen zu können. Hugging Face selbst hat den Angriff mit einem solchen frei verfügbaren Modell abgewehrt. Von den Firmen verlangt Delangue, die vollständigen Protokolle ihrer KI-Agenten offenzulegen.

Für die Vereinigten Staaten sprach Michael Kratsios, der Technologieberater des Weißen Hauses. Er sagte, der rasche Fortschritt sei kein Grund, die Entwicklung anzuhalten oder sie in neue weltweite Aufsichtsstrukturen zu zwängen. Das deckt sich mit der Rede von Donald Trump vor der UN-Generalversammlung am Vortag. Der Präsident hatte gesagt, die Vereinigten Staaten lehnten jeden Versuch ab, ein „globalistisches System“ zur Kontrolle der künstlichen Intelligenz zu errichten, und er werde das Wachstum einer Technik, die größer werde als die industrielle Revolution, nicht bremsen. Chinas UN-Botschafter Fu Cong unterstützte gemeinsame Regeln für Notfälle und die Zusammenarbeit über Grenzen hinweg, lehnte aber ein weltweites Regelwerk ab, das allen Ländern dieselbe Entwicklung vorschreibt. Russland bezweifelte, dass der Sicherheitsrat überhaupt der richtige Ort für das Thema ist. UN-Generalsekretär António Guterres fasste es so zusammen: Weil KI alle betreffe, sei weltweite Abstimmung unverzichtbar.

Beschlossen hat der Sicherheitsrat an diesem Tag nichts. Es war eine Anhörung ohne Resolution und ohne gemeinsame Erklärung.

EinordnungWas das für Europa heißt

Wenn die großen Entscheidungen nicht allein in San Francisco fallen sollen, stellt sich die Frage, wer sonst am Tisch sitzt. Europa hatte an diesem Tag mehr zu sagen, als es auf den ersten Blick scheint. Frankreich hat die Sitzung angesetzt und geleitet, und Außenminister Barrot rief dazu auf, im Rahmen der Vereinten Nationen und gemeinsam mit den Unternehmen die Regeln für dieses neue Zeitalter festzulegen. Einen Tag vorher, am 22. September, hatten 22 Staats- und Regierungschefs auf Anregung Finnlands und Norwegens einen Aufruf zu verbindlicheren Sicherheitsregeln unterzeichnet, darunter Bundeskanzler Friedrich Merz und EU-Kommissionspräsidentin Ursula von der Leyen. Sie wollen auch prüfen lassen, ob es eine internationale Kontrollbehörde für KI geben soll.

Dazu kommt, dass in Europa schon ein umfassendes KI-Gesetz gilt. Die KI-Verordnung der EU verbietet seit Februar 2025 besonders gefährliche Anwendungen, etwa die Bewertung von Bürgern nach ihrem Verhalten. Seit August 2025 müssen die Anbieter der großen Sprachmodelle, also auch OpenAI und Anthropic, offenlegen, womit sie ihre Modelle trainiert haben, und die stärksten Modelle auf Risiken prüfen. Darüber wacht das KI-Büro der EU-Kommission. Seit dem 2. August 2026 müssen Chatbots sich außerdem als KI zu erkennen geben, und künstlich erzeugte Bilder und Videos, die täuschend echt wirken, müssen gekennzeichnet sein.

Gleichzeitig zeigt der Tag, wo Europa schwach ist. Die Firmen, die die stärksten Modelle bauen, sitzen in Amerika und China. Und die EU hat den aufwendigsten Teil ihres eigenen Gesetzes verschoben. Seit dem 27. Juli 2026 gilt eine Änderung, nach der die strengen Pflichten für KI in heiklen Bereichen wie Bewerbungsverfahren, Kreditvergabe oder Schule erst ab dem 2. Dezember 2027 greifen, für KI in Produkten wie Medizingeräten oder Maschinen erst ab August 2028. Wenn Altman und Amodei jetzt selbst nach weltweiten Standards rufen, bekommt Europa eine Gelegenheit, die es selten hat. Seine Regeln könnten zur Vorlage für die Welt werden, sofern Europa sie selbst ernst nimmt und mit eigener Forschung und eigenen Modellen unterlegt. Wie weit Deutschland dabei ist, zeigt das neue KI-Sicherheitsinstitut in Berlin.

Man darf skeptisch sein, wenn die Chefs der Firmen, die das Wettrennen antreiben, vor ihrer eigenen Technik warnen. Regeln, die man selbst mitschreibt, können auch Konkurrenten fernhalten. Trotzdem ist es ein Einschnitt, dass beide ihre Warnung vor dem Weltsicherheitsrat wiederholt haben und sich damit öffentlich an ihren Zusagen messen lassen. Ob die Zusage zu bremsen etwas wert ist, zeigt sich erst, wenn sie einen Vorsprung kostet.