Neues KI-Modell: Wie Sie nach einem Wechsel prüfen, ob alles noch passt

Warum ändert ein neues Modell die Ergebnisse?

Jedes KI-Modell antwortet anders: in Länge und Ton, bei der Auswahl von Quellen, beim Einhalten von Formaten und beim Aufruf von Werkzeugen. Ein neues Modell ist im Durchschnitt meist besser, kann aber einzelne Aufgaben schlechter lösen. Forscher aus Stanford und Berkeley haben 2023 die Fassungen bekannter Sprachmodelle vom März und vom Juni verglichen: Bei einzelnen Aufgaben unterschieden sie sich deutlich, mal zum Besseren, mal zum Schlechteren.

Für ein Haus heißt das: Eine App, die einen Entlassbrief oder einen Bescheid nach festem Aufbau entwirft, kann nach dem Wechsel Abschnitte vertauschen, Angaben weglassen oder Quellen anders zitieren, obwohl Anweisung und Dokumente gleich geblieben sind.

Was sollten Sie nach einem Wechsel prüfen?

Kriterium	Frage	Beispiel
Inhalt	Stimmen die Aussagen, fehlt etwas?	Medikation vollständig im Brief
Quellen	Werden die richtigen Stellen zitiert?	Leitlinie statt veralteter Fassung
Format	Hält die Antwort den Aufbau ein?	Gliederung des Bescheids
Sprache	Deutsch, Fachsprache, Leichte Sprache wie vorgegeben?	keine englischen Einsprengsel
Werkzeuge	Werden angebundene Systeme richtig abgefragt?	richtiges Postfach, richtige Suche
Grenzen	Lehnt die KI ab, was sie ablehnen soll?	keine Diagnose ohne Grundlage
Tempo	Kommt die Antwort in brauchbarer Zeit?	auch bei vielen Personen gleichzeitig

Wie baut man eine Sammlung von Testfällen?

1. Wichtige Apps auswählen: die meistgenutzten und die mit den größten Folgen bei Fehlern.
2. Fälle festhalten: je App eine Handvoll typischer und schwieriger Eingaben, mit den Dokumenten, die dazugehören.
3. Erwartung beschreiben: Was muss in der Antwort stehen, was darf nicht darin stehen? Eine Musterantwort hilft.
4. Vor dem Wechsel laufen lassen: Ergebnisse des bisherigen Modells speichern.
5. Nach dem Wechsel vergleichen: Fachleute aus dem Bereich bewerten, nicht nur die IT.
6. Ergebnis dokumentieren: Datum, Modell und Version, geprüfte Fälle, Befund, Entscheidung.

Gibt es Abweichungen, hilft oft eine angepasste Anweisung in der App. Bleibt ein Problem, sprechen Sie mit dem Anbieter.

Was sagt die KI-Verordnung dazu?

Für die meisten Einsätze, etwa Entwürfe, Zusammenfassungen und Suche, ist eine KI-Plattform kein Hochrisiko-KI-System, und es gibt keine ausdrückliche Pflicht zur Prüfung nach einem Modellwechsel. Eine Prüfung ist trotzdem gute Praxis, weil Sie für die Ergebnisse verantwortlich bleiben.

Strenger ist es bei Hochrisiko-Systemen: Betreiber setzen sie nach der Gebrauchsanweisung ein und überwachen den Betrieb (Art. 26). Wer ein Hochrisiko-System wesentlich verändert, kann selbst zum Anbieter werden (Art. 25 mit Art. 3 Nr. 23). Ein Modellwechsel kann eine solche Veränderung sein, wenn der Hersteller ihn nicht vorgesehen hat. Für Systeme nach Anhang III gelten diese Pflichten nach der Änderungsverordnung (EU) 2026/1744 ab dem 2. Dezember 2027. Ob Ihr Einsatz darunter fällt: Hochrisiko-KI erkennen. Bei Medizinprodukten gelten zusätzlich deren Regeln: Ist KI ein Medizinprodukt?

Wie geht das mit basebox?

basebox wählt das KI-Modell aus und prüft neue Modelle, bevor sie kommen: auf Chat, lange Texte, Dokumentensuche, Werkzeugaufrufe, Deutsch und Last, mit Aufgaben aus Klinik und Verwaltung. Ein neues Modell kommt per Update, auch ohne Internet; Apps, Rechte und Daten bleiben dabei gleich. Einen stillen Wechsel auf ein anderes Modell gibt es nicht. Welches Modell in welcher Version geantwortet hat, ist dokumentiert, und ein Modellregister hält Entwickler, Version und Lizenz jedes Modells fest.

Zu jeder Version gibt es Release Notes, und Sie erfahren per E-Mail von neuen Versionen. Auf dem Server installiert sich nichts automatisch; ohne Betriebsauftrag spielen Sie Updates selbst ein und können vorher Ihre Testfälle bereitlegen. In der Cloud spielt basebox die Updates ein. Wünschen Sie ein bestimmtes Modell, auch ein eigenes, setzen wir es auf Wunsch ein.