KI-Tools vergleichen: Testprotokoll für Ihren Betrieb

Wenn Sie KI-Tools objektiv vergleichen wollen, gibt es genau einen Weg, der trägt: Sie testen jedes Werkzeug mit denselben echten Aufgaben aus Ihrem Betrieb, bewerten die Antworten nach vorher festgelegten Kriterien und notieren, welche Version Sie wann getestet haben. Kein Ranking aus dem Netz kann das ersetzen, weil dort niemand Ihre Angebote, Ihre Kundenmails und Ihre Leistungsverzeichnisse kennt. Bauen Sie den Vergleich auf drei Dinge: fünf bis zehn Aufgaben, die in Ihrem Haus tatsächlich anfallen, einen Bewertungsbogen mit höchstens fünf Kriterien und zwei Personen, die unabhängig voneinander bewerten. Alles andere ist Bauchgefühl mit Tabelle.

Die Methodik dahinter ist nicht exotisch. Das US-Normungsinstitut NIST formuliert in seinem freiwilligen Rahmenwerk für KI-Risikomanagement: "AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s)." Übersetzt in Werkstattsprache: unter Bedingungen prüfen, die dem echten Einsatz ähneln (NIST AI RMF Core).

Warum taugen öffentliche Ranglisten nicht für Ihre Entscheidung?

Weil sie andere Aufgaben messen als die, für die Sie zahlen. Ein Modell, das in einem Programmierbenchmark vorn liegt, kann bei Ihren Angebotstexten hinterherhinken, und umgekehrt. NIST hält dazu fest: "What should be measured depends on the purpose, audience, and needs of the evaluations." Was gemessen wird, hängt also von Zweck, Zielgruppe und Bedarf der Bewertung ab (NIST Playbook, Measure).

Dazu kommt ein Punkt, der in Vergleichstabellen selten auftaucht: die Streuung. Dasselbe Werkzeug liefert bei derselben Frage nicht zwingend dieselbe Antwort. Wer einmal fragt und dann urteilt, misst womöglich den Zufall mit. Stellen Sie jede Testaufgabe deshalb mehrfach, an unterschiedlichen Tagen, und notieren Sie die Schwankung. Ein Werkzeug, das gut antwortet und gelegentlich grob danebenliegt, verlangt im Tagesgeschäft mehr Kontrolle als eines mit gleichmäßigem Niveau — und die Kontrolle lässt bekanntlich nach, sobald man dem Ding vertraut.

Der dritte Punkt: Anbieter ändern ihre Modelle. Ein Test ohne Datum und Versionsangabe verliert seine Aussagekraft. NIST schreibt dazu: "Test sets, metrics, and details about the tools used during TEVV are documented." Also Testdaten, Kennzahlen und Werkzeugdetails schriftlich festhalten.

Welche Testaufgaben gehören in den Vergleich?

Nehmen Sie Aufgaben, die in Ihrem Betrieb wirklich anfallen und bei denen Sie die richtige Antwort schon kennen. Das ist der Kniff: Sie brauchen einen Maßstab. Ein Angebot, das letzten Monat rausging. Eine Reklamationsmail, auf die Ihre Bürokraft geantwortet hat. Ein Lieferschein, der schwer zu lesen war. Diese Vorlagen werden zur Messlatte, gegen die jedes Werkzeug antritt.

Ein brauchbarer Aufgabensatz deckt vier Sorten Arbeit ab:

• Text aus Stichworten: Aus fünf Zeilen Notiz wird ein Kundenanschreiben. Prüfkriterium: Ton, fachliche Richtigkeit, keine erfundenen Zusagen.
• Information aus Dokumenten ziehen: Aus einer eingescannten Rechnung Lieferant, Betrag, Rechnungsnummer und Leistungsdatum herausholen. Prüfkriterium: richtig oder falsch, hier gibt es kein „fast".
• Zusammenfassen und einordnen: Ein langes Protokoll auf die Punkte kürzen, an denen jemand etwas tun muss. Prüfkriterium: Ist etwas Wichtiges verschwunden?
• Fachfrage im eigenen Kontext: Eine Frage, die Ihre Leute regelmäßig stellen und die falsch beantwortet Geld kostet.

Die vierte Sorte ist die wichtigste, weil dort das Erfundene sichtbar wird. Ein Sprachmodell — also ein Programm, das Wort für Wort die wahrscheinliche Fortsetzung eines Textes berechnet — formuliert Unsinn genauso flüssig wie Richtiges. Wer nur Aufgaben stellt, deren Antwort er nicht prüfen kann, testet die Rechtschreibung.

Legen Sie die Aufgaben schriftlich fest, bevor Sie das erste Werkzeug öffnen. Sonst passen Sie die Aufgabe unbewusst an das an, was gerade gut funktioniert hat.

Wie sieht ein Bewertungsbogen aus, mit dem zwei Leute zum selben Urteil kommen?

Er hat wenige Kriterien, jedes mit einer Skala von null bis drei und einem Satz, der beschreibt, was drei Punkte bedeuten. Ohne diese Beschreibung bewertet jeder etwas anderes. Fünf Kriterien reichen für die meisten Betriebe: fachliche Richtigkeit, Vollständigkeit, Tonfall und Verwendbarkeit ohne Nacharbeit, Wiederholbarkeit über mehrere Durchläufe und Nachvollziehbarkeit — also ob das Werkzeug offenlegt, worauf es seine Antwort stützt.

Gewichten Sie vorher, nicht hinterher. Wenn fachliche Richtigkeit bei Ihnen doppelt zählt, schreiben Sie das in den Bogen, bevor die Ergebnisse da sind. Sonst verschiebt sich die Gewichtung von selbst zugunsten des Werkzeugs, das man sowieso schon sympathisch fand.

Zwei Personen bewerten unabhängig. Wo sie weit auseinanderliegen, ist entweder das Kriterium unklar formuliert oder die Aufgabe mehrdeutig — beides ein nützlicher Befund. Halten Sie außerdem fest, was das Werkzeug ausdrücklich nicht kann. NIST verlangt genau das: "Information about the AI system’s knowledge limits and how system output may be utilized and overseen by humans is documented." Wissensgrenzen und menschliche Kontrolle gehören ins Protokoll.

Was prüfen Sie neben der Antwortqualität?

Drei Felder entscheiden den Vergleich oft stärker als die Textqualität: Datenschutz, Anbindung an Ihre Systeme und der Preis pro Arbeitsplatz. Beginnen Sie beim Datenschutz, weil ein Verstoß dort erst auffällt, wenn schon Daten geflossen sind.

Dabei zählt nicht das Werbeversprechen, sondern die Produktdokumentation zum genauen Tarif. Microsoft schreibt zu Copilot Chat: "Prompts and responses aren't used to train the underlying foundation models" — Eingaben und Antworten fließen also nicht in das Training der zugrunde liegenden Modelle (Microsoft Copilot Chat Privacy). Solche Zusagen hängen an Produkt, Tarif und aktivierter Konfiguration. Prüfen Sie sie für genau die Variante, die Sie kaufen wollen, und notieren Sie Datum und Fundstelle.

Genauso beim Ausstieg: Kommen Sie an Ihre Daten wieder heran? Anthropic dokumentiert für Claude einen Exportweg: "Individual Claude users can export user information and chat history from Settings > Privacy on the web app or Claude Desktop" (Claude Help Center). Ob dieser Weg auch in Ihrer Team- oder Unternehmensvariante besteht, ist eine eigene Frage an den Anbieter — und eine, die Sie besser vor Vertragsschluss stellen.

Die deutsche Datenschutzaufsicht hat für diese Prüfung eine Handreichung. Die Landesbeauftragte für den Datenschutz Niedersachsen beschreibt sie so: "Praxisnah adressiert die Orientierungshilfe Fragen, die datenschutzrechtlich Verantwortliche bei der Konzeption des Einsatzes, der Auswahl, der Implementierung und der Nutzung von KI-Anwendungen stellen und beantworten müssen." Und: "Die Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ richtet sich an Unternehmen, Behörden und andere Organisationen." (LfD Niedersachsen). Das ist eine Orientierung, keine Prüfung Ihres Einzelfalls und keine Rechtsberatung — für die Bewertung Ihrer konkreten Datenflüsse, Verträge und Berechtigungen sprechen Sie mit Ihrer Datenschutzbeauftragten oder der zuständigen Aufsichtsbehörde.

Zum europäischen Rahmen nur so viel, wie belegt ist. Die Europäische Kommission schreibt: "The AI Act is the first-ever legal framework on AI, which addresses the risks of AI and positions Europe to play a leading role globally." (Europäische Kommission zum AI Act) Welche Anforderungen sich daraus für Ihren konkreten Einsatz ergeben, klären Sie mit fachkundiger Beratung oder der zuständigen Stelle; dieser Abschnitt ersetzt keine Rechtsberatung.

Welches Vorgehen passt zu welchem Betrieb?

Vorgehen	Aufwand intern	Voraussetzung	Risiko	Wann sinnvoll
Bauchgefühl nach kurzem Ausprobieren	sehr gering	niemand	Fehlkauf bleibt lange unbemerkt, Team verliert Vertrauen	Wenn es um ein Werkzeug für eine Person geht und Sie monatlich kündigen können
Strukturierter Eigentest mit Aufgabensatz	verteilt auf zwei Personen	Jemand schreibt die Aufgaben und hält den Bogen sauber	Aufgabensatz trifft den Alltag nicht, Ergebnis ist scheingenau	Wenn mehrere Abteilungen betroffen sind und der Vertrag jährlich läuft
Test mit externer Begleitung	intern geringer, dafür Budget	Zugänge und Testdaten müssen bereitstehen	Externe Methodik passt nicht zu Ihren Abläufen, wenn niemand aus dem Fach mitbewertet	Wenn Datenschutz, Anbindung an Fachsysteme und Auswahl gleichzeitig geklärt werden sollen
Pilot mit einer Abteilung im Echtbetrieb	hoch, dafür realistisch	Abgegrenzter Prozess und klare Abbruchkriterien	Der Pilot wird nie beendet und wächst still zum Dauerzustand	Wenn zwei Werkzeuge nach dem Test gleichauf liegen

Wann lohnt sich der ganze Vergleich nicht?

Es gibt Fälle, in denen ein sauberes Testprotokoll teurer ist als die Entscheidung selbst. Wenn Sie ein Werkzeug für zwei Leute suchen, der Vertrag monatlich kündbar ist und keine personenbezogenen oder vertraulichen Daten hineingehen — dann probieren Sie es im Alltag aus und entscheiden danach. Ein Bewertungsbogen für eine Entscheidung, die Sie jederzeit rückgängig machen können, ist Beschäftigungstherapie.

Ebenso wenig lohnt der Vergleich, wenn Sie noch gar nicht wissen, welche Aufgabe das Werkzeug übernehmen soll. Dann testen Sie gegen ein Ziel, das es noch nicht gibt, und das Ergebnis lautet immer „irgendwie beeindruckend". Erst der Prozess, dann das Werkzeug. Und was ein Vergleich grundsätzlich nicht leistet: Er sagt Ihnen nichts darüber, ob Ihr Team das Werkzeug annimmt. Das entscheidet sich an ganz anderen Dingen — an der Einarbeitung, an der Frage, wer bei Problemen ansprechbar ist, und daran, ob die Geschäftsführung selbst damit arbeitet oder es nur anordnet.

Woran scheitern solche Vergleiche in der Praxis?

Ein verbreiteter Stolperstein: Der Test läuft einmal und dann nie wieder. Anbieter tauschen Modelle aus, Tarife ändern sich, und das Ergebnis von damals steht weiter im Protokoll. NIST formuliert die Gegenmaßnahme knapp: "AI systems should be tested before their deployment and regularly while in operation." Vor dem Einsatz prüfen und im Betrieb wiederholt.

Drei Frühwarnzeichen, die Sie ernst nehmen sollten:

• Im Bewertungsbogen tauchen plötzlich Kriterien auf, die vorher nicht drinstanden — besonders verdächtig, wenn ein Favorit gerade schlecht abgeschnitten hat.
• Nur eine Person bewertet, weil die zweite keine Zeit hatte. Damit ist der Vergleich eine Meinung mit Tabellenkalkulation.
• Der Test läuft mit ausgedachten Beispieldaten statt mit echten Belegen und Mails. Dann messen Sie, wie gut das Werkzeug mit sauberen Vorlagen umgeht — und genau die haben Sie im Alltag nicht.

Ein viertes Zeichen ist subtiler: Wenn im Testteam niemand sitzt, der die Aufgabe fachlich beurteilen kann, wird Flüssigkeit mit Richtigkeit verwechselt. Holen Sie die Person dazu, die die Angebote sonst schreibt. Sie sieht in Sekunden, was in der Kalkulation fehlt.

Ihr erster Schritt in unter einer Stunde

Öffnen Sie ein leeres Dokument und schreiben Sie fünf Aufgaben auf, die in Ihrem Betrieb diese Woche tatsächlich angefallen sind und bei denen Sie das richtige Ergebnis kennen. Legen Sie die zugehörigen Originalunterlagen daneben — das fertige Angebot, die verschickte Antwortmail, die abgetippte Rechnung. Notieren Sie zu jeder Aufgabe in einem Satz, woran Sie eine gute Antwort erkennen würden. Mehr braucht es für den Anfang nicht. Diesen Zettel können Sie jedem Anbieter und jedem Berater vorlegen, und Sie merken sofort, wer darauf eingeht und wer über Funktionen redet.

Wenn Sie diesen Aufgabensatz haben, aber unsicher sind, wie Sie Datenschutzprüfung, Anbindung an Ihre Fachsysteme und Auswahl in eine Reihenfolge bringen, ist ein Gespräch der kürzere Weg als weiterlesen. Auf der Seite zur KI-Beratung für Inhaber von KMU und Handwerk sehen Sie, wie so ein Einstieg abläuft und wie Sie ein Erstgespräch vereinbaren.

Ein letzter Hinweis zur Priorität: Klären Sie Datenschutz und Datenfluss, bevor Sie sich in Antwortqualität verlieben. Ein Werkzeug, das Ihre Aufgaben brillant löst, dessen Datenverarbeitung Sie aber nicht sauber dokumentieren können, bindet später Zeit an unerfreulichen Stellen. In welcher Reihenfolge Sie Prozesse überhaupt anpacken, ist die Frage davor — dazu hilft die Übersicht zur Prozessautomatisierung mit KI. Und wenn Ihr Vergleich am Ende auf ein bestimmtes System hinausläuft, lohnt der genaue Blick auf Lizenzen und Vertragslage, etwa in der Übersicht zu Claude für Unternehmen oder im Praxisleitfaden zu ChatGPT für Unternehmen.