KI-Prüfstand-Ingenieur

Deutschland hat den Prüfstand erfunden: Kein Auto verlässt das Werk, ohne auf Rollen gestanden zu haben. Für KI gibt es diesen Prüfstand bislang kaum, dabei wechseln Modelle, Preise und Verhalten im Monatstakt. In den USA ist daraus gerade ein eigener Beruf entstanden, der Evals Engineer, bei den erfolgreichsten KI‑Firmen gehört er zu den ersten zehn Einstellungen überhaupt. Wir übersetzen ihn in unsere Ingenieurskultur und nennen ihn KI‑Prüfstand‑Ingenieur.

Was macht ein KI-Prüfstand-Ingenieur?

Er beantwortet die Frage, die sich jedes Unternehmen stellen sollte, bevor es einer KI Verantwortung überträgt: Woher wissen wir eigentlich, dass sie das kann? Der KI‑Prüfstand‑Ingenieur baut systematische Prüfreihen, im US‑Fachjargon „Evals". Er sammelt echte Fälle aus dem Betrieb, auch und gerade die fiesen, definiert, was eine richtige Antwort ist, und lässt die KI in großer Zahl dagegen antreten, messbar, wiederholbar, protokolliert. Vor jedem Modellwechsel läuft die Prüfreihe erneut, denn ein neues Modell kann an einer Stelle brillanter und an einer anderen schlechter sein, und wer nicht misst, merkt das erst, wenn ein Kunde es merkt. US‑Firmen wie Cognition oder Perplexity besetzen die Rolle unter den allerersten Mitarbeitern, weil die Qualität ihrer Prüfungen direkt über die Qualität ihres Produkts entscheidet.

Warum entsteht diese Rolle gerade jetzt?

Drei Gründe. Erstens tragen KI‑Systeme immer mehr Verantwortung: Sie beantworten Kundenanfragen, prüfen Verträge, steuern Abläufe. Zweitens ändern sich die Modelle laufend, die Anbieter tauschen Versionen, Preise und Verhalten in kurzen Abständen, ein Betrieb ohne eigene Prüfreihe fliegt dabei blind. Drittens verlangt das Recht die Prüfung inzwischen ausdrücklich: Die EU‑KI‑Verordnung schreibt für Hochrisiko‑Anwendungen ab dem 2. August 2026 Risikomanagement, Protokollierung und menschliche Aufsicht vor, und in Deutschland übernimmt die Bundesnetzagentur die Marktaufsicht. Prüfen ist damit keine Kür mehr, sondern Pflicht mit Behörde dahinter.

Wie sieht der Arbeitstag aus?

Dienstag, 8:30 Uhr. Über Nacht hat der KI-Anbieter ein Modell-Update eingespielt, die Prüfreihe ist automatisch mitgelaufen. Das Protokoll zeigt: Vertragsklauseln erkennen ist von 91 auf 96 Prozent gestiegen, schön. Aber bei Zahlenangaben in Tabellen ist die Quote von 98 auf 89 gefallen, und genau damit füllt die Buchhaltung ihre Berichte. Der Prüfstand-Ingenieur friert die alte Version für die Buchhaltung ein, meldet den Befund an den Anbieter und baut aus den zwölf gescheiterten Fällen neue Prüffälle. Nachmittags kalibriert er seinen „KI-Richter", ein zweites Modell, das die Antworten des ersten bewertet, und stichprobt von Hand nach, ob der Richter selbst noch richtig urteilt. Es ist Detektivarbeit mit Statistik: Man feiert nicht, wenn alles grün ist, man wird misstrauisch.

Was muss man können und mitbringen?

Das Handwerkszeug: solide Statistik, Programmier-Praxis (meist Python), Erfahrung mit Prüf-Werkzeugen und vor allem eine Charaktereigenschaft, die in Stellenanzeigen selten steht: professionelles Misstrauen. Der beste Prüfstand-Ingenieur ist der, der seiner eigenen Prüfung nicht traut, bevor er sie geprüft hat.

Wie wird man das?

Gute Startpunkte sind Qualitätssicherung und Test-Automatisierung in der Software-Entwicklung, Datenanalyse und Statistik oder Mess- und Prüftechnik aus der Industrie, der gedankliche Sprung vom Bauteil-Prüfstand zum KI-Prüfstand ist kleiner, als er klingt. Wer aus der QS kommt und sich in KI-Modelle einarbeitet, trifft auf einen Markt, in dem es kaum ausgebildete Konkurrenz gibt. Ein eigener kleiner Prüfkatalog als Arbeitsprobe öffnet Türen schneller als jedes Zertifikat.

Gehalt

In den USA wird die Rolle wie eine Kern-Ingenieursstelle bezahlt, also sehr gut. Für Deutschland gilt wie bei allen jungen Rollen: noch keine belastbaren Zahlen, unsere Spannen sind eine KIPODE-Marktschätzung, abgeleitet aus QS-Lead- und Datenanalyse-Rollen:

Typische Arbeitgeber

KI-Produktfirmen, die ihre Qualität beweisen müssen. Banken und Versicherer, die Modellrisiken seit Jahren managen und das Handwerk nur auf KI übertragen. Industrieunternehmen mit KI in der Fertigung. Und, sehr deutsch und sehr naheliegend: die Prüfgesellschaften selbst, von TÜV bis Dekra, die KI-Prüfung als neues Geschäftsfeld aufbauen, sowie Behörden rund um die neue KI-Aufsicht.

Aussichten

Stark und regelfest. Selbst wenn die Modelle immer besser werden, bleibt die Frage „Woher wissen wir das?" bestehen, sie wird mit jeder übertragenen Verantwortung wichtiger. Die EU-KI-Verordnung macht die Prüfung zur Rechtspflicht, die Bundesnetzagentur zur Kontrollinstanz, und die Modellwechsel der Anbieter machen sie zur Daueraufgabe. Prüfen ist außerdem eine Tätigkeit, die man schlecht an genau die Maschine delegiert, die geprüft werden soll.

Wie ordnet KIPODE das ein?

Wenn es einen KI-Beruf gibt, der wie gemacht ist für dieses Land, dann dieser: Der Prüfstand ist deutsche Ingenieurs-DNA, vom Automobil-Rollenprüfstand bis zur TÜV-Plakette. Vertrauen durch Prüfung ist hier ein Exportgut. Während die USA die Modelle bauen, kann Deutschland der Ort werden, an dem man beweist, was sie wirklich können, das ist keine Trostrolle, sondern die Voraussetzung für jeden seriösen KI-Einsatz. Verwandt sind der KI-Sicherheitstester, der die KI gezielt angreift, während der Prüfstand-Ingenieur ihre Alltagstauglichkeit misst, sowie der KI-Konformitäts-Beauftragte.