Kriterienkatalog für KI-Plattformen: so gewichten und bewerten Sie Anbieter

Was unterscheidet einen Kriterienkatalog von einer Checkliste?

Eine Checkliste sammelt Fragen, die Sie jedem Anbieter im Erstgespräch stellen; sie steht im Ratgeber Welche Fragen stellen Sie einem KI-Anbieter im Erstgespräch? Ein Kriterienkatalog macht daraus eine Entscheidung: Er legt fest, was ein Angebot erfüllen muss, was wie viel zählt und wie Punkte vergeben werden. Erst damit lassen sich Angebote vergleichen und die Entscheidung gegenüber Bietern, Rechnungsprüfung und Gremien begründen.

Ein Katalog hat drei Ebenen:

1. Ausschlusskriterien: Was fehlt, scheidet aus. Keine Punkte.
2. Bewertungskriterien: gewichtet, mit Punkteskala.
3. Preis: über die ganze Laufzeit, nach einer vorab bekannten Formel.

Welche Ausschlusskriterien passen zu einer KI-Plattform?

Ausschlusskriterien sollten wenige, eindeutige und prüfbare Anforderungen sein:

• Verarbeitung der Daten und des KI-Modells in der EU oder im eigenen Haus
• Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO mit Liste der Unterauftragsverarbeiter
• Kein Training mit Ihren Daten, vertraglich zugesagt
• Rechte je Person aus Ihrer Benutzerverwaltung
• Protokoll, wer die KI wann genutzt hat
• Herausgabe Ihrer Daten bei Vertragsende
• Bei Gesundheitsdaten in der Cloud: Nachweis nach § 393 SGB V (C5-Testat oder gleichwertiger Nachweis)
• Bei Berufs- oder Amtsgeheimnissen: Vereinbarung nach § 203 StGB

Was hier steht, bekommt keine Punkte mehr. Sonst zählt dieselbe Anforderung doppelt.

Wie gewichten Sie die Bewertungskriterien?

Die Gewichtung folgt Ihren Zielen. Ein Beispiel für eine Verwaltung oder ein Krankenhaus mit 300 bis 1.000 Personen:

Kriterium	Gewicht	Wie gemessen
Preis über fünf Jahre	35 %	Gesamtkosten nach Preisblatt, Formel siehe unten
Qualität der Antworten in der Teststellung	25 %	Bewertungsbogen je Aufgabe, mehrere Prüfende
Quellenangaben und Nachvollziehbarkeit	8 %	Teststellung: Führt jede Aussage zur Textstelle?
Rechte und Teilen von Anwendungen	8 %	Teststellung: Sieht die KI nur, was die Person sehen darf?
Anbindung Ihrer Systeme	8 %	Konzept: welche Systeme heute, welche geplant, zu welchem Preis
Betrieb und Datenort	6 %	Konzept: Cloud, Betrieb im eigenen Haus, ohne Internetverbindung
Einführung und Schulung	5 %	Konzept: Zeitplan, Schulung zur KI-Kompetenz
Support und Updates	5 %	Angebot: Zeiten, Wege, Update-Rhythmus

Die Werte sind ein Vorschlag, keine Vorgabe. Wichtig ist, dass Sie Kriterien und Gewichtung vorab festlegen und bekannt geben (§ 127 Abs. 5 GWB, § 58 VgV; in Österreich § 91 BVergG 2018, in der Schweiz Art. 29 Abs. 3 BöB).

Wie vergeben Sie Punkte nachvollziehbar?

Jedes Kriterium braucht eine Skala mit beschriebenen Stufen. Ein Beispiel für „Quellenangaben“:

Punkte	Beschreibung
0	Keine Quellen
1	Quelle nur als Dokumentname
3	Quelle mit Seite oder Abschnitt
5	Jede Aussage führt per Klick zur zitierten Textstelle

Lassen Sie mindestens zwei Personen unabhängig bewerten und halten Sie Abweichungen schriftlich fest. Die UfAB 2018 des Bundes beschreibt Bewertungsmethoden und stellt eine Bewertungsmatrix als Tabelle bereit.

Wie bewerten Sie den Preis?

Vergleichen Sie Gesamtkosten über dieselbe Laufzeit, am besten fünf Jahre. In ein Preisblatt gehören Lizenz, Hardware und Servicevertrag, Betrieb, Einführung, Schulung und Konnektoren. Fragen Sie auch nach Grenzen bei der Nutzung und was es kostet, wenn sie erreicht sind.

Eine verbreitete Formel: Das günstigste Angebot erhält die volle Punktzahl, jedes andere anteilig (günstigster Preis geteilt durch eigenen Preis, mal Höchstpunktzahl). Ob Sie diese Formel oder eine Methode aus der UfAB nutzen, legen Sie vorab fest. Wie Sie die Kosten selbst ermitteln, zeigt der Ratgeber Selbst betreiben oder Plattform kaufen.

Was gehört in die Teststellung?

Die Teststellung ist das Herz der Bewertung: Alle Bieter lösen dieselben Aufgaben mit denselben Beispieldokumenten, in derselben Zeit. Gute Aufgaben stammen aus Ihrem Alltag, etwa eine Frage an eine Dienstanweisung, ein Entwurf eines Bescheids oder Briefs aus Stichpunkten, eine Zusammenfassung eines langen Dokuments. Prüfen Sie zusätzlich, ob eine Person ohne Rechte an einem Dokument eine Antwort daraus bekommt. Aufbau und Ablauf beschreibt der Ratgeber Proof of Concept für KI.

Keine Rechtsberatung: Der Katalog ist ein Vorschlag; Ihre Vergabestelle prüft Kriterien, Gewichtung und Formel. Stand der Recherche: 11.10.2026.

Wie geht das mit basebox?

Antworten auf die Ausschlusskriterien und viele Bewertungsfragen stehen geordnet nach dem BSI-Katalog C5 auf Antworten für Ihre Sicherheitsprüfung; AVV, TOMs, Liste der Unterauftragsverarbeiter und Vereinbarung nach § 203 StGB können Sie auf Sicherheit herunterladen. Für das Preisblatt rechnet der Rechner Listenpreise für Cloud und Server über fünf Jahre. Der Ausschreibungsgenerator erstellt Muss- und Soll-Kriterien als Vorlage, ohne basebox zu nennen.