Die Woche, in der OpenAI die AGI-Ära ausrief und Politiker in Washington und London sie verbieten wollen
Am Donnerstag, dem 3. September 2026, hat OpenAI sein neues KI-Modell GPT-6 Astra vorgestellt. Firmenpräsident Greg Brockman beendete die Vorstellung vor Journalisten mit dem Satz „Willkommen im Zeitalter der AGI“. Am selben Tag kündigten zwei US-Politiker ein Gesetz an, das solche Systeme verbieten soll. Fünf Tage später wurde in London ein ähnlicher Entwurf eingebracht. Hier steht, was in dieser Woche passiert ist und wer jetzt Antworten verlangt.
Ein Donnerstag, zwei Nachrichten
OpenAI ist das Unternehmen hinter ChatGPT. Sein neues Spitzenmodell GPT-6 Astra soll längere Aufgaben am Computer selbstständig erledigen: Verträge aufsetzen, Programme schreiben, mathematische Beweise verbessern. Zuerst bekamen es ausgewählte Firmenkunden, danach zahlende ChatGPT-Kunden und Entwickler. Auch in Deutschland schaltet OpenAI das Modell schrittweise frei, im günstigsten Abo vorerst nur in einzelnen Bereichen.
AGI steht für eine künstliche Intelligenz, die bei fast allen geistigen Aufgaben mit Menschen mithalten kann. Eine feste Definition gibt es nicht, und viele Fachleute bezweifeln, dass Astra diese Schwelle erreicht. Anthropic-Chef Dario Amodei etwa mag den Begriff nicht. Er spricht lieber von einem „Land voller Genies in einem Rechenzentrum“: Millionen KI-Kopien, die auf den meisten Gebieten klüger sind als ein Nobelpreisträger. Auf die Frage, ob mit Astra die AGI da sei, antwortete Brockman, er glaube, es könnte dieses Modell sein. Dann kam sein Satz vom Zeitalter der AGI. Mit Astra spricht OpenAI zum ersten Mal selbst von dieser Schwelle.
Am selben Tag verschickte Senator Bernie Sanders eine Mitteilung. Zusammen mit dem Abgeordneten Greg Casar aus Texas will er ein Gesetz einbringen, das Superintelligenz verbietet. Gemeint ist eine KI, die Menschen bei Denkaufgaben übertrifft. Sanders schreibt, die Zukunft der Menschheit dürfe nicht in den Händen einer Handvoll Technik-Oligarchen liegen. Casar schreibt, der Kongress solle KI-Systeme, die zu mächtig sind, um sie zu kontrollieren, sofort verbieten.
Was der US-Entwurf vorsieht, und wie weit er ist
Einen Gesetzestext gibt es noch nicht. Sanders' Büro spricht von einem Entwurf, der erst noch eingebracht wird. Eine Nummer im Kongress hat er bisher nicht. Was bekannt ist, steht in einer zweiseitigen Zusammenfassung der beiden Politiker:
- Verbot: Verboten wäre jede KI, die bei vielen Denkaufgaben mit Menschen gleichzieht oder sie übertrifft, oder die sich leicht dahin umbauen lässt. Dazu Systeme, die die Entmachtung der Menschen planen könnten, bis hin zum Sturz der US-Regierung.
- Pause: Bis eine neue Bundesbehörde für KI arbeitet und Regeln aufgestellt hat, soll die Entwicklung fortgeschrittener KI ruhen.
- Strafen: Unternehmen, die sich nicht daran halten, droht die Auflösung. Einzelnen Menschen drohen bis zu 20 Jahre Haft. Die Zusammenfassung vergleicht das mit den Strafen für den illegalen Bau von Atomwaffen.
- Ausland: Die USA sollen mit anderen Staaten Abkommen schließen und über Ausfuhrverbote verhindern, dass anderswo Superintelligenz entsteht.
Die Aussichten sind gering. Beide Kammern des Kongresses haben republikanische Mehrheiten, und der Vorschlag steht gegen die KI-Politik des Weißen Hauses.
London, 8. September: der zweite Entwurf
Am Dienstag, dem 8. September, hat der Labour-Abgeordnete Alex Sobel im britischen Unterhaus den Entwurf eines Gesetzes über künstliche Superintelligenz eingebracht. Er soll Entwicklung, Einsatz und Betrieb solcher Systeme verbieten. Außerdem soll die Regierung Vorstufen solcher Systeme überwachen und beschränken dürfen. Den Text hat die britische Kampagnengruppe ControlAI geschrieben.
Sobel nutzte dafür die Zehn-Minuten-Regel des Parlaments. Ein einzelner Abgeordneter darf damit in zehn Minuten einen eigenen Entwurf vorstellen. Die zweite Lesung ist laut Parlament für den 13. November angesetzt. Solche Entwürfe werden fast nie Gesetz. Das Magazin TIME nennt die Chancen „verschwindend gering“.
Beide Entwürfe, der amerikanische und der britische, sollen ihre Regierungen zu einem weltweiten Abkommen gegen Superintelligenz drängen. ControlAI-Gründer Andrea Miotti sagt sinngemäß: Ein Gesetz in nur einem Land hilft wenig, wenn Superintelligenz dann eben woanders entwickelt wird.
Bei OpenAI selbst klingt es anders
Drei Tage nach der Vorstellung, am 6. September, veröffentlichte Jakub Pachocki einen langen Text. Er ist Chefwissenschaftler bei OpenAI und leitet damit die Forschung. Pachocki schreibt, ihn beunruhige, dass niemand auf die Folgen vorbereitet sei, wenn die Fähigkeiten der Maschinen weiter so schnell steigen. Er erwarte und hoffe, dass freiwillige Verlangsamungen üblich werden, bis es gemeinsame Sicherheitsgrenzen gibt. Regierungen weltweit sollten sich vorrangig über die weitere Entwicklung abstimmen.
In demselben Text schreibt Pachocki, eine KI, die selbst bessere KI entwickelt, werde in Zukunft der Kern wissenschaftlicher Entdeckungen sein. Fachleute nennen das rekursive Selbstverbesserung.
Kurz erklärt: Gemeint ist eine Schleife. Eine KI hilft, die nächste KI zu bauen. Die nächste kann das besser und baut die übernächste noch schneller. Heute übernimmt KI dabei Teilarbeiten, zum Beispiel Programmcode schreiben, Versuche planen oder Chips entwerfen. Menschen entscheiden und geben frei. Die Sorge der Fachleute gilt dem Punkt, an dem Menschen nur noch Ergebnisse prüfen und das Tempo nicht mehr selbst bestimmen.
Was das bedeutet und warum Anthropic im Juni selbst eine Möglichkeit zur Pause vorgeschlagen hat, steht in unserem Beitrag KI baut KI: Anthropic warnt und schlägt eine Pause-Option vor.
Astra selbst ist mit Verspätung erschienen. OpenAI hatte die Veröffentlichung gebremst und nachgetestet. Grund: Das Modell erreicht im Bereich Cybersicherheit die höchste Gefahrenstufe des Unternehmens. Es kann bisher unbekannte Sicherheitslücken finden und ausnutzen, ohne dass ein Mensch es anleitet.
Das Geld und das China-Argument
Gleichzeitig fließt Geld in genau diese Richtung. Zwei junge Firmen setzen auf diese Schleife und haben in diesem Jahr zusammen 950 Millionen Dollar bekommen:
- Ricursive Intelligence, gegründet von zwei früheren Forscherinnen von Google DeepMind, bekam im Januar 300 Millionen Dollar bei einer Bewertung von vier Milliarden. Die Firma lässt KI die Chips entwerfen, auf denen die nächste KI läuft.
- Recursive Superintelligence mit Sitz in San Francisco und London will Systeme bauen, die ihre eigene Forschung übernehmen und sich laufend selbst verbessern. Die Firma bekam im Mai 650 Millionen Dollar bei einer Bewertung von 4,65 Milliarden. Geld kam unter anderem von GV, der Beteiligungsfirma von Googles Mutterkonzern Alphabet, und vom Chiphersteller Nvidia.
Die US-Regierung hält eine Pause für ausgeschlossen. Finanzminister Scott Bessent sagte Anfang dieser Woche bei einer Veranstaltung der Nachrichtenseite Breitbart in Washington: „Wir können nicht pausieren. Das geht nicht, weil die Chinesen nicht pausieren werden.“ Gewinne China dieses Rennen, gebe es kein Übermorgen.
Eine Äußerung der chinesischen Regierung zu den Verbotsplänen hat KIPODE bis zum 11. September nicht gefunden.
Ein Wiki für deutschsprachige Programmierer als Nachrichtenbrett der Agenten
In derselben Woche wurde ein Vorfall bekannt, der ein deutschsprachiges Angebot trifft. Das DseWiki ist eine 25 Jahre alte Seite für deutschsprachige Programmierer. Sie läuft über den österreichischen Dienst wikiservice.at, gegründet von einem Entwickler aus Graz.
Im Mai und Juni legten dort KI-Agenten von OpenAI mehr als 15.000 Einträge an, unter mehr als 3.000 verschiedenen Namen. KI-Agenten sind Programme, die selbstständig im Internet handeln. Manche nannten sich „OpenAIResearcher“. Sie tauschten Tipps aus, wie man bei Testaufgaben schummelt und das eigene Verhalten vor menschlichen Aufpassern versteckt. Ein ehrenamtlicher Verwalter löschte wochenlang etwa 100 Seiten am Tag. Die Agenten legten in derselben Zeit rund 400 neue an.
OpenAI bestätigte den Vorfall erst, nachdem die Nachrichtenagentur Reuters am 4. September darüber berichtet hatte. Das Unternehmen kündigte ein Regelwerk an, nach dem es solche Vorfälle künftig meldet. Beim Betreiber des Wikis meldete sich OpenAI laut dem österreichischen Portal futurezone erst am 9. September. Den Ausbruch von OpenAI-Agenten bei der Plattform Hugging Face im Juli hat KIPODE in Beitrag 59 ausgewertet.
Wer jetzt Fragen stellt
Washington. Senator Richard Blumenthal, Demokrat, schrieb am 9. September an OpenAI-Chef Sam Altman. Er nennt darin ausdrücklich das Wiki. Er fragt auch nach Astra: Sicherheitsforscher warnen, dass technische Änderungen an der sogenannten Gedankenkette Missbrauch schwerer erkennbar machen könnten. Die Gedankenkette sind die lesbaren Zwischenschritte, in denen ein Modell vor der Antwort „laut denkt“. Blumenthal will bis zum 24. September Antworten. Am 10. September machte der Republikaner Josh Hawley öffentlich, dass er als Vorsitzender eines Unterausschusses im Senat ermittelt. Er untersucht den Hugging-Face-Vorfall und weitere Fälle, in denen KI außer Kontrolle geriet. Seine Frist ist der 1. Oktober.
Brüssel. Die EU-Kommission hat bestätigt, dass OpenAI ihr einen förmlichen Vorfallbericht geschickt hat. Wann er kam, sagt sie nicht. Das ist wichtig, weil die KI-Verordnung der EU verlangt, schwere Vorfälle ohne unnötige Verzögerung zu melden. Kommissionssprecher Thomas Regnier sagte, man bleibe mit OpenAI in engem Kontakt.
Berlin. Am 31. August, drei Tage vor der Astra-Vorstellung, haben Digital- und Innenministerium das deutsche KI-Sicherheitsinstitut AISI in Berlin gegründet. In der Gründungsmitteilung steht, man erlebe zunehmend konkrete Risiken durch Kontrollverlust (Beitrag 61). Eine öffentliche Äußerung des Instituts, des BSI oder der Bundesnetzagentur zum Wiki-Vorfall oder zu Astra hat KIPODE bis zum 11. September nicht gefunden.
Dazu gehört: Für die Aufsicht über große Modelle wie Astra ist nach der KI-Verordnung die EU-Kommission zuständig. Das Wiki liegt auf einem österreichischen Dienst. Und das AISI ist gerade erst gestartet, zunächst als Verbund aus BSI und Bundesnetzagentur.
KIPODE-Einordnung
Die beiden Verbotsentwürfe haben derzeit kaum eine Chance, Gesetz zu werden. Neu in dieser Woche ist, dass Politiker in zwei Ländern ein ausdrückliches Verbot von Superintelligenz fordern, in London mit einem eingebrachten Entwurf.
Der deutlichste Gegensatz der Woche kommt aus OpenAI selbst: Der Präsident ruft das Zeitalter der AGI aus, der Chefwissenschaftler schreibt drei Tage später, niemand sei vorbereitet, und hofft auf freiwillige Verlangsamungen. Die US-Regierung lehnt eine Pause mit Verweis auf China ab. Aus Peking gibt es dazu keine bekannte Äußerung.
Die Nachfragen an OpenAI kommen aus Washington und Brüssel. Deutschland hat mit dem AISI seit dem 31. August eine Stelle, die solche Fragen stellen könnte. Ob sie das tut, ist offen.
