Hybrid-Betrieb: Wann lohnt sich die KI-Plattform im Haus mit Modell von außen?

Was heißt Hybrid-Betrieb bei einer KI-Plattform?

Eine KI-Plattform besteht aus zwei Teilen: der Plattform (Anmeldung, Rechte, Apps, Dokumente, Konnektoren, Protokoll) und dem KI-Modell, das die Antworten rechnet. Beide können am selben Ort laufen, in der Cloud oder auf einem Server im Haus. Beim Hybrid-Betrieb sind sie getrennt:

• Die Plattform läuft auf Hardware im eigenen Netz. Dokumente, Rechte, Apps und Protokoll bleiben dort.
• Das KI-Modell rechnet an einem anderen Ort, zum Beispiel im Rechenzentrum einer Hochschule oder eines Landes, auf einem vorhandenen Rechencluster oder bei einem Anbieter von Rechenleistung.

Die Plattform schickt für jede Frage die Anweisung, die Frage und die passenden Textstellen aus den Dokumenten an das Modell und bekommt die Antwort zurück.

Wann ist Hybrid sinnvoll?

• Rechenleistung ist schon da, aber nicht im Haus: etwa ein Rechencluster des Trägers, des Landes oder der Universität.
• Keine Grafikprozessoren im eigenen Rechenzentrum: wegen Platz, Strom, Kühlung oder Beschaffung.
• Die Daten sollen im Haus gespeichert sein: Dokumente, Protokoll und Benutzerverwaltung bleiben im eigenen Netz, nur die Rechenaufgabe geht nach außen.
• Übergang: Ein Haus startet mit Modell von außen und holt die Rechenleistung später ins Haus.

Weniger sinnvoll ist Hybrid, wenn das Haus ohne Internet arbeiten muss oder wenn keine Daten das Netz verlassen dürfen. Dann gehören Plattform und Modell zusammen auf einen Server im Haus. KI offline betreiben →

Was bedeutet Hybrid für den Datenschutz?

Entscheidend ist, wo das Modell rechnet, denn dorthin gehen Fragen und Textauszüge:

Modell rechnet …	Was zu klären ist
im eigenen Rechenzentrum oder beim Träger	interne Regeln, Netzverbindung, Verschlüsselung der Strecke
bei einem Anbieter in der EU	Vertrag zur Auftragsverarbeitung (Art. 28 DSGVO), Speicherung und Protokollierung von Eingaben, Training
bei einem Anbieter mit Sitz in den USA	zusätzlich Übermittlung und Zugriffsrechte nach US-Recht (US Cloud Act)

Für Gesundheitsdaten kommt in Deutschland § 393 SGB V hinzu, wenn ein Cloud-Dienst sie verarbeitet. Prüfen Sie mit Ihrem Datenschutzbeauftragten, ob der Ort des Modells zu den Daten passt, die in Ihren Apps verarbeitet werden.

Worauf achtet die IT?

• Strecke: Die Verbindung zwischen Plattform und Modell muss verschlüsselt und stabil sein. Fällt sie aus, gibt es keine Antworten.
• Antwortzeit: Jeder Weg über das Netz verlängert die Wartezeit etwas.
• Kapazität: Wie viele Fragen kann das Modell am anderen Ort im selben Moment beantworten, und teilen sich andere diese Leistung?
• Schnittstelle: Viele Modelle sind über eine OpenAI-kompatible Schnittstelle erreichbar. Das ist ein verbreitetes Format für Anfragen an KI-Modelle, unabhängig vom Anbieter.
• Wechsel: Kann das Modell später ausgetauscht werden, ohne dass sich Apps und Rechte ändern?

Wie geht das mit basebox?

basebox bietet Hybrid an, und Kunden nutzen es bereits: basebox läuft auf Ihrer Hardware in Ihrem Netz, mit Anmeldung, Rechten, Apps, Konnektoren und Protokoll. Die KI-Modelle kommen von einem anderen Ort, etwa aus Ihrem Rechenzentrum oder von einem Anbieter, den Sie anbinden. Bei einem fremden Anbieter weisen wir Sie auf die Folgen für den Datenschutz hin. Den Preis finden Sie in Ihrem persönlichen Angebot.

Auf den anderen Wegen ist kein Hybrid nötig: In der Cloud läuft das KI-Modell in basebox auf unseren Servern im Rechenzentrum München-Ost, auf dem Server bei Ihnen. Eigene Modelle mit OpenAI-kompatibler Schnittstelle lassen sich nach unserer Prüfliste anbinden; Ihr Administrator schaltet sie frei. Ihre Daten trainieren kein Modell.