KI-Plattform skalieren: Größere Modelle oder mehr Personen?

Warum zwei Richtungen?

Wer von „mehr KI“ spricht, meint oft zwei verschiedene Dinge:

	Größeres Modell	Mehr Personen
Was sich ändert	bessere Antworten bei schweren Aufgaben, etwa lange Fachtexte	mehr Fragen im selben Moment
Was es braucht	mehr Speicher für das Modell selbst	mehr Speicher und Rechenzeit für laufende Unterhaltungen
Hängt ab von	Größe des Modells	Zahl der Personen, die gleichzeitig fragen, und Länge der Texte
Wird spürbar als	ein Modell passt nicht auf die Hardware	Antworten beginnen später, zu Stoßzeiten

Die Zahl der Konten spielt dabei kaum eine Rolle. Entscheidend ist, wie viele Personen im selben Moment eine Antwort erwarten und mit wie viel Text sie arbeiten.

Was braucht ein größeres Modell?

Ein Sprachmodell liegt vollständig im Speicher der Grafikprozessoren. Wächst das Modell, wächst der Speicherbedarf mit, auch wenn nur eine Person fragt. Komprimierte Fassungen eines Modells brauchen weniger Speicher, kosten aber etwas Genauigkeit. Ein größeres Modell heißt deshalb: mehr oder größere Grafikprozessoren, die zusammen ein Modell tragen.

Ob ein größeres Modell nötig ist, zeigt die Praxis: Reichen die Antworten bei den Aufgaben, für die die Plattform da ist? Für Entwürfe, Zusammenfassungen und Auskünfte aus Dokumenten genügt oft ein mittelgroßes Modell; bei langen juristischen oder medizinischen Texten kann ein größeres besser sein.

Was brauchen mehr Personen?

Jede Frage, die gerade beantwortet wird, belegt zusätzlich Speicher, umso mehr, je länger der Text ist: ein kurzer Chat wenig, ein langes Dokument viel. Wird der Platz knapp, warten weitere Fragen kurz. Mehr Personen heißt deshalb: mehr Speicher für laufende Unterhaltungen, also zusätzliche Grafikprozessoren, auf denen dasselbe Modell ein weiteres Mal läuft und die Fragen verteilt werden.

Als Richtwert: Die Server von basebox beantworten je nach Klasse 100, 150 oder über 200 Fragen im selben Moment. Für etwa 200 bis 2.000 Personen reicht das, weil nie alle gleichzeitig fragen.

Was hilft in welchem Fall?

Beobachtung	Was hilft
Antworten sind gut, beginnen zu Stoßzeiten aber später	mehr Grafikprozessoren für dasselbe Modell
Antworten bei schweren Aufgaben reichen nicht	größeres Modell, dafür mehr Speicher auf den Grafikprozessoren
Beides	erst das Modell festlegen, dann die Zahl der Grafikprozessoren für die Nutzung
Lange Dokumente bremsen alle	Dokumente in Wissenssammlungen ablegen statt jedes Mal ganz hochzuladen

Wie ist das bei basebox?

basebox wächst, ohne dass sich etwas für die Beschäftigten ändert: Apps, Rechte, Anbindungen und Protokoll bleiben gleich, es wächst nur die Rechenleistung. In der Cloud übernehmen wir das. Beim Server von basebox wählen Sie die Klasse nach der Zahl der Personen; für mehr als etwa 2.000 Personen läuft basebox auf größerer Hardware, die Sie selbst beschaffen, etwa von HPE oder Dell, und die Lizenz richtet sich nach den Grafikprozessoren. basebox kann zudem weitere Server mit Grafikprozessoren über deren Schnittstelle anbinden. Welche Hardware für Ihr Modell und Ihre Nutzung passt, klären wir vorher mit Ihnen; die technischen Einzelheiten stehen in der basebox-Dokumentation.