KI baut KI: Anthropic warnt und schlägt eine Pause-Option vor
Am 4. Juni 2026 hat Anthropic einen Bericht mit dem Titel „When AI builds itself" veröffentlicht, also „Wenn KI sich selbst baut". Darin zeigt die Firma mit eigenen Zahlen, dass ihre KI bereits stark an der eigenen Weiterentwicklung mitarbeitet. Und sie warnt vor den Folgen. Hier steht, was das bedeutet, ohne Panik und ohne Verharmlosung.
Was ist rekursive Selbstverbesserung?
Das ist der Fachbegriff dafür, dass eine KI hilft, eine bessere KI zu bauen, die dann wieder eine noch bessere baut, und so weiter. Früher haben Menschen jeden Schritt der Entwicklung gemacht. Heute übernimmt die KI immer mehr davon selbst. Wenn dieser Kreis sich ganz schließt, könnte eine KI ihren eigenen Nachfolger fast allein entwerfen. So weit ist es noch nicht, und es ist auch nicht zwangsläufig. Aber der Trend zeigt in diese Richtung.
Was sagt Anthropic genau?
Anthropic sagt: Dieses Tempo erhöht das Risiko, dass Menschen die Kontrolle verlieren. Deshalb hält die Firma es für sinnvoll, dass es die Möglichkeit gibt, die Entwicklung bei Bedarf zu verlangsamen oder kurz zu pausieren. Wichtig ist die genaue Formulierung: Anthropic fordert keinen Alleingang. Eine Pause nur einer Firma würde nichts bringen, weil andere einfach weitermachen. Gemeint ist eine abgestimmte, überprüfbare Lösung mit mehreren Firmen und Ländern.
Was heißt „80 Prozent Code" wirklich?
Diese Zahl braucht eine Einordnung. Sie bedeutet, dass die KI sehr viel von der eigentlichen Schreibarbeit am Programmcode übernimmt. Die wichtigen Entscheidungen aber, was überhaupt gebaut wird, wie das System aufgebaut ist und welche Forschung sich lohnt, treffen weiterhin Menschen. Die KI ist also vor allem ein extrem schneller Bauarbeiter, noch nicht der Architekt. Genau diesen Übergang vom Schreiben zum Entscheiden beobachtet Anthropic so aufmerksam.
Ist das nur Panikmache?
Die Zahlen im Bericht sind belegt und stammen aus dem Unternehmen selbst. Über die Deutung gehen die Meinungen auseinander. Der deutsche Autor Karl Olsberg und die Bewegung PauseAI fordern eine deutlich konsequentere Verlangsamung als die Firmen selbst und warnen vor sehr großen Gefahren. Andere Fachleute halten es für übertrieben, dass eine außer Kontrolle geratene KI unmittelbar bevorsteht, und sehen auch eigenes Werbeinteresse der Anbieter vor dem Börsengang. Beide Sichtweisen sind Teil einer offenen Debatte.
Was bedeutet das Ausrichtungs-Problem?
Der Fachbegriff dafür ist Alignment, auf Deutsch die Ausrichtung. Gemeint ist die Frage, ob eine KI wirklich das will und tut, was die Menschen beabsichtigt haben. Schon heute machen Modelle gelegentlich Dinge, die weder im Sinne der Nutzer noch der Entwickler sind. Anthropics Sorge ist, dass sich solche kleinen Fehlausrichtungen verstärken könnten, wenn eine KI die nächste baut, und am Ende schwerer zu erkennen und zu korrigieren sind. Deshalb gilt: Je mehr die Systeme selbst übernehmen, desto wichtiger werden Kontrolle, Nachvollziehbarkeit und ein verlässlicher Notausschalter.
Wie ordnet KIPODE das ein?
Bemerkenswert ist, dass ausgerechnet eine Firma mit starkem Sicherheitsanspruch selbst auf die Bremse hinweist und eigene Zahlen offenlegt. Das ist ein ernstes Signal, aber keine Vorhersage. KIPODE berichtet die Fakten und die verschiedenen Meinungen, ohne sich eine davon zu eigen zu machen. Wer mehr wissen will, findet im nächsten Beitrag, was die EU dazu bereits geregelt hat.
