Vom KI-Prototyp zum Produktivsystem: Was sich zwischen Test und Betrieb ändert

Warum bleiben so viele KI-Projekte nach dem Test stehen?

Gartner hat 2024 vorhergesagt, dass mindestens 30 % der Projekte mit generativer KI bis Ende 2025 nach dem Proof of Concept aufgegeben werden. Als Gründe nennt Gartner schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklaren Nutzen. Zwei davon entstehen typischerweise erst beim Schritt in den Betrieb: Risikokontrollen, die im Test niemand gebraucht hat, und Kosten, die im Test niemand gesehen hat.

Ein Prototyp beantwortet die Frage „Geht das?“. Ein Produktivsystem muss die Frage „Geht das jeden Tag, für alle, sicher und nachweisbar?“ beantworten. Wie Sie den Test selbst aufbauen, beschreibt der Ratgeber Proof of Concept für KI.

Was unterscheidet Prototyp und Produktivsystem?

	Prototyp	Produktivsystem
Daten	Beispieldaten	echte Personen-, Patienten- oder Bürgerdaten
Personen	ein Team, das die Technik kennt	alle Berechtigten, ohne Vorwissen
Anmeldung	lokale Konten oder keine	Benutzerverwaltung des Hauses, zweiter Faktor
Rechte	alle sehen alles	jede Person sieht nur, was sie darf, auch in angebundenen Systemen
Protokoll	keins	wer hat was wann getan, nicht änderbar
Last	wenige Anfragen	Spitzenzeiten mit vielen gleichzeitigen Fragen
Ausfall	ärgerlich	Ersatzverfahren nötig
Unterlagen	keine	Verzeichnis der Verarbeitungstätigkeiten, TOMs, je nach Einsatz DSFA, Vereinbarung mit der Personalvertretung
Verantwortung	die Person, die es gebaut hat	eine Stelle mit Vertretung

Was muss vor dem Start geklärt sein?

• Echte Daten: Welche Daten kommen hinein, auf welcher Rechtsgrundlage? Verzeichnis der Verarbeitungstätigkeiten (Art. 30 DSGVO), Maßnahmen zur Sicherheit (Art. 32) und bei Gesundheits- oder Sozialdaten meist eine Datenschutz-Folgenabschätzung (Art. 35).
• Rechte: Rechte aus der Benutzerverwaltung übernehmen statt doppelt pflegen. Bei angebundenen Systemen gilt: Die KI darf nie mehr als die Person, die fragt.
• Personalvertretung: Eine KI, die Eingaben protokolliert, ist eine technische Einrichtung im Sinne von § 87 Abs. 1 Nr. 6 BetrVG; im öffentlichen Dienst gelten die Personalvertretungsgesetze. Mehr im Ratgeber Muster-Dienstvereinbarung für KI.
• Sicherheit: Eine Risikoanalyse für den konkreten Einsatz, wie sie das BSI empfiehlt, mit Blick auf manipulierte Anweisungen in Dokumenten und auf Antworten, die Daten preisgeben (OWASP Top 10 für Sprachmodelle).
• KI-Verordnung: Betreiber müssen Maßnahmen zur KI-Kompetenz ihres Personals ergreifen (Art. 4). Für Hochrisiko-Einsätze gelten zusätzliche Betreiberpflichten (Art. 26).

Was muss der Betrieb übernehmen können?

• Lasttest: Wie viele Fragen laufen zu Spitzenzeiten gleichzeitig, und wie lange warten Personen dann auf den Antwortbeginn? Im Test sieht man das nicht.
• Sicherung und Wiederherstellung: Was wird gesichert, wie oft, und ist die Wiederherstellung einmal geprobt?
• Updates und Modellwechsel: Wer spielt Sicherheitsupdates ein, wer prüft ein neues Modell mit den wichtigsten Aufgaben, bevor es live geht? Siehe Neues KI-Modell prüfen.
• Ausfall: Was tun die Beschäftigten, wenn die KI nicht antwortet? Siehe Notfallbetrieb planen.
• Ansprechpartner: Wer hilft bei Fragen und Störungen, mit Vertretung? Kennt nur eine Person das System, ist das ein Risiko; siehe Bus-Faktor.
• Schulung: Wer neu dazukommt, lernt Grenzen und Regeln der KI, bevor er mit echten Daten arbeitet.

Wann ist der Prototyp die falsche Grundlage?

Ein Prototyp ist oft auf Tempo gebaut: ein Modell auf einem Rechner, eine Oberfläche ohne Anmeldung, Dokumente in einem Ordner. Fehlen Rechte, Protokoll und Betrieb, ist der Umbau manchmal größer als der Neustart auf einer anderen Grundlage. Prüfen Sie ehrlich, was vom Test bleibt: meist die Erkenntnisse zu Aufgaben, Anweisungen und Testfällen, nicht unbedingt die Technik. Wie ein Test-Aufbau mit Ollama und Open WebUI wächst, steht in Ollama und Open WebUI skalieren.

Wie geht das mit basebox?

In der Cloud starten Sie mit 1 Mio. Tokens kostenlos und ohne zeitliche Begrenzung. Die Startumgebung arbeitet mit KI-Modellen von Google Vertex in Frankfurt; verwenden Sie dort nur Beispieldaten, keine Patienten- oder Bürgerdaten. Buchen Sie die Lizenz, bleiben Apps, Wissensdatenbanken und Einstellungen erhalten. In der Cloud mit Lizenz liegen Ihre Daten in einer eigenen Umgebung für Ihre Organisation, in unserem Rechenzentrum in Deutschland. Anmeldung über Ihre Benutzerverwaltung, Rechte, Protokoll, Updates und Support sind in der Lizenz enthalten; AVV, TOMs und Vorlagen für die Datenschutz-Folgenabschätzung stehen auf Sicherheit zum Herunterladen. Ein späterer Wechsel von der Cloud auf einen Server ist jederzeit möglich, pauschal 4.200 €.

Keine Rechtsberatung: Dieser Ratgeber gibt einen Überblick, Stand 11. Oktober 2026. Welche Unterlagen und Freigaben Ihr Haus braucht, hängt vom Einsatz ab; stimmen Sie das mit Ihrer oder Ihrem Datenschutzbeauftragten ab.