TCO-Vergleich: KI selbst betreiben oder Plattform kaufen?
Über fünf Jahre entscheidet beim Eigenbetrieb nicht die Hardware, sondern das Personal. Server, Strom und Software kosten in beiden Fällen ähnlich viel. Wer Rechte, Anbindung, Protokoll, Sicherheitsupdates und Nachweise selbst baut und pflegt, braucht dafür eigene Fachleute; eine Stelle kostet im öffentlichen Dienst mit Arbeitgeberanteilen grob 90.000 € im Jahr. Eine gekaufte Plattform lohnt sich, sobald der Eigenbetrieb mehr Personal bindet, als die Lizenz kostet.
Was gehört in die Gesamtkosten (TCO) einer KI?
TCO (Total Cost of Ownership) heißt: alle Kosten über die Nutzungsdauer, nicht nur der Kaufpreis. Für KI im eigenen Haus sind fünf Jahre üblich, weil Server und Servicevertrag so lange laufen. Diese Posten fallen an, egal ob Sie selbst bauen oder kaufen; der Unterschied liegt darin, wer sie trägt.
| Kostenart | Eigenbetrieb | Gekaufte Plattform |
|---|---|---|
| Hardware (Server mit Grafikprozessoren) | kaufen Sie | kaufen Sie (oder Cloud ohne Hardware) |
| Hardware-Service, Strom, Stellplatz | tragen Sie | tragen Sie; Stellplatz und Strom sind beim Betrieb im Rechenzentrum des Anbieters enthalten |
| Software für das KI-Modell | Open Source oder Lizenz je Grafikprozessor | in der Lizenz |
| Anmeldung, Rechte, Protokoll | selbst bauen und pflegen | in der Lizenz |
| Anbindung an Fachsysteme | selbst bauen und pflegen | Konnektoren aus der Bibliothek, neue zum Festpreis |
| Sicherheitsupdates, neue Modelle | selbst prüfen und einspielen | per Update |
| Nachweise (AVV, TOMs, Sicherheitskonzept, Zertifikate) | selbst erstellen | vom Anbieter, für Ihre eigenen Pflichten ergänzt |
| Support für die Beschäftigten | eigene IT | Anbieter und eigene IT |
Was kostet die Hardware?
Als Größenordnung dienen die Listenpreise unseres Hardware-Partners FAST LTA für fertige Server (netto, Stand Oktober 2026):
| Server | Grafikprozessoren | Kaufpreis (Listenpreis) | Richtwert |
|---|---|---|---|
| Klasse 1 | 3× NVIDIA RTX PRO 6000 (je 96 GB) | 109.643 € | etwa 200 bis 500 Personen |
| Klasse 2 | 2× NVIDIA H200 (je 141 GB) | 165.004 € | etwa 500 bis 1.000 Personen |
| Klasse 3 | 2× H200 + 1× RTX PRO 6000 | 191.581 € | etwa 1.000 bis 2.000 Personen |
Dazu kommt ein Servicevertrag für Reparatur und Austausch defekter Teile, bei diesen Servern 9 % des Kaufpreises pro Jahr. Strom kostet je nach Server und Strompreis rund 5.700 bis 10.000 € im Jahr, gerechnet mit Volllast. Wer die Hardware selbst beschafft, landet in derselben Größenordnung: Die Grafikprozessoren machen den größten Teil des Preises aus.
Was kostet das Personal?
Das ist der Posten, der die Rechnung entscheidet. Eine KI für ein ganzes Haus ist mehr als ein Modell auf einem Server. Damit Beschäftigte sie mit sensiblen Daten nutzen dürfen, braucht es:
- Anmeldung und Rechte aus Ihrer Benutzerverwaltung, damit jede Person nur sieht, was sie sehen darf
- Anbindung an Dokumentenablagen und Fachsysteme, mit den Rechten der fragenden Person
- Protokoll, wer wann was gefragt hat, für Datenschutz und Revision
- Sicherheitsupdates für Betriebssystem, Inferenz-Software, Oberfläche und Bibliotheken
- Neue Modelle prüfen, testen und einspielen
- Nachweise für Datenschutz, Informationssicherheit und Personalvertretung
- Support und Schulung für die Beschäftigten
Zum Gehalt: Eine IT-Fachkraft in Entgeltgruppe 13 des TVöD (Kommunen) verdient in Stufe 3 seit Mai 2026 5.709,87 € im Monat, also 68.518 € Tabellenentgelt im Jahr. Mit Jahressonderzahlung, Sozialversicherung und Zusatzversorgung liegen die Arbeitgeberkosten grob bei 90.000 € im Jahr (Schätzung). In der Privatwirtschaft liegen Fachleute für KI-Infrastruktur oft darüber.
Wie viele Stellen der Eigenbetrieb bindet, hängt vom Umfang ab. Eine Testinstallation für eine Abteilung betreut eine Person nebenher. Eine KI für das ganze Haus mit Rechten, mehreren angebundenen Systemen und Nachweisen braucht Personal auf Dauer, weil Modelle, Software und Sicherheitslage sich laufend ändern. Die Beispielrechnung unten nimmt anderthalb Stellen an; prüfen Sie den Wert für Ihr Haus.
Beispielrechnung über fünf Jahre: 500 bis 1.000 Personen
Gleiche Hardware (Klasse 2), Server im eigenen Rechenzentrum. Die Personalwerte sind Annahmen; setzen Sie Ihre eigenen ein. Beträge pro Jahr, netto.
| Posten pro Jahr | Eigenbetrieb | basebox auf dem Server |
|---|---|---|
| Hardware (165.004 €, auf fünf Jahre verteilt) | 33.001 € | 33.001 € |
| Servicevertrag Hardware (9 %) | 14.850 € | 14.850 € |
| Lizenz der Plattform | – | 48.246 € |
| Strom | 5.700–10.000 € | 5.700–10.000 € |
| Personal (Annahme: 1,5 Stellen bzw. ¼ Stelle à 90.000 €) | 135.000 € | 22.500 € |
| Summe pro Jahr | rund 188.500–193.000 € | rund 124.300–128.600 € |
Die Lizenz von 48.246 € im Jahr entspricht etwa einer halben Stelle. Die Faustregel daraus: Bindet der Eigenbetrieb mehr als eine halbe Stelle zusätzlich, ist die gekaufte Plattform günstiger. Möchten Sie auch den Betrieb des Servers abgeben, kostet das bei basebox 1.200 € pro Monat, wenn der Server bei Ihnen steht.
Nicht in der Tabelle: Software-Lizenzen beim Eigenbetrieb (Open Source kostet nichts; NVIDIA verlangt für sein Enterprise-Paket 4.500 US-Dollar je Grafikprozessor und Jahr, Listenpreis), Kosten für Sicherheitsprüfungen und Zertifikate sowie die Zeit bis zum Start, in der ein Eigenbau noch keinen Nutzen bringt.
Was oft vergessen wird
- Anlaufzeit: Ein Eigenbau mit Rechten und Anbindung ist ein Softwareprojekt über Monate. Eine fertige Plattform läuft in der Cloud sofort, auf vorhandener Hardware in wenigen Tagen.
- Abhängigkeit von Personen: Kennt nur eine Person den Eigenbau, ist das ein Betriebsrisiko bei Urlaub, Krankheit und Kündigung.
- Folgeaufwand: Jede neue Funktion, jedes neue Modell und jeder Nachweis wird beim Eigenbau einzeln beauftragt oder selbst gebaut.
- Hardware ist nicht der Unterschied: Sie wird in beiden Fällen gebraucht. Wer schon Grafikprozessoren hat, spart sie in beiden Fällen.
Wie geht das mit basebox?
basebox läuft in unserer Cloud, auf einem fertigen Server oder auf Hardware Ihrer Wahl. Funktionen und Sicherheit sind auf allen Wegen gleich. Die Lizenz enthält alle Funktionen, Apps, Konnektoren aus unserer Bibliothek, Support und Updates. Haben Sie schon eine eigene KI-Plattform, besprechen wir den Umstieg mit Ihnen; vorhandene Hardware können Sie weiter nutzen.
Hinweis: Hardwarepreise sind Listenpreise unseres Hardware-Partners FAST LTA. Personalkosten und Stellenbedarf sind Annahmen zur Veranschaulichung, keine Zusage.
Häufige Fragen
Ist Open-Source-Software für KI nicht kostenlos?
Die Lizenz ja, der Betrieb nicht. Software wie vLLM oder Open WebUI kostet nichts, aber jemand muss sie einrichten, absichern, aktualisieren und an Benutzerverwaltung und Fachsysteme anbinden. Dieser Aufwand ist der größte Posten der Gesamtkosten.
Können wir vorhandene Hardware weiter nutzen?
Ja. Steht schon ein Server mit Grafikprozessoren im Haus, fällt der größte einmalige Posten weg, beim Eigenbetrieb wie mit einer gekauften Plattform. basebox lizenzieren wir dann nach Ihren Grafikprozessoren; ob die Hardware reicht, prüfen wir vorher kostenlos.
Wann ist Eigenbetrieb sinnvoll?
Wenn ein Team für KI-Infrastruktur ohnehin da ist, etwa in der Forschung, wenn sehr spezielle Anforderungen kein fertiges Produkt erfüllt oder wenn die KI nur einer kleinen Gruppe von Fachleuten dient, die Rechte und Nachweise nicht im gleichen Umfang braucht wie ein ganzes Haus.
Was passiert mit unserer Plattform, wenn es basebox nicht mehr gibt?
Wird basebox insolvent, wird der Code als Open Source veröffentlicht, damit Kunden weiterarbeiten können. Beim Server läuft die Plattform ohnehin auf Hardware, die Ihnen gehört.
Quellen
Dieser Artikel wurde mit Unterstützung von KI erstellt, auf Grundlage der genannten Quellen. Verantwortlich für den Inhalt: basebox GmbH. Keine Rechtsberatung, keine Haftung. Stand der Recherche: 11. Oktober 2026.