Warum KI-Antworten schwanken und wie man trotzdem misst

Wer eine KI zweimal nach den Anbietern einer Kategorie fragt, bekommt oft zwei unterschiedliche Listen. Das ist kein Fehler, sondern Teil der Funktionsweise.

Woher die Streuung kommt

Drei Ursachen wirken zusammen.

Erzeugung mit Zufallsanteil

Sprachmodelle wählen das jeweils nächste Wort aus einer Wahrscheinlichkeitsverteilung. Diese Auswahl enthält bewusst einen Zufallsanteil, damit Antworten natürlich wirken. Bei einer Aufzählung von Anbietern kann das genügen, um Reihenfolge und Auswahl zu verändern.

Wechselnde Suchtreffer

Systeme mit aktiver Websuche stellen zunächst eine Suchanfrage und formulieren die Antwort aus den Treffern. Ändert sich das Suchergebnis, ändert sich die Antwort mit.

Modellaktualisierungen

Anbieter aktualisieren ihre Modelle laufend. Solche Änderungen können Antworten spürbar verschieben, ohne dass sich auf Seiten der Firma etwas geändert hat.

Was das für die Messung bedeutet

Eine einzelne Antwort ist eine Momentaufnahme. Sie taugt als Beispiel, nicht als Kennzahl. Belastbarkeit entsteht durch vier Vorkehrungen.

1. Genügend Fragen. Bei 16 Fragen verschiebt eine abweichende Antwort das Ergebnis um rund sechs Prozentpunkte. Bei fünf Fragen wären es zwanzig.
2. Mehrere Systeme. Zeigt sich eine Bewegung bei drei von vier KI-Systemen gleichzeitig, ist sie ernst zu nehmen. Bei einem einzelnen System kann es Zufall sein.
3. Fester Katalog. Jede Änderung an den Fragen erzeugt eine neue Ausgangslage. Der Katalog bleibt deshalb über Monate unverändert.
4. Regelmäßiger Rhythmus. Wöchentliche Messungen zur gleichen Zeit machen Ausreißer als solche erkennbar.

Wie man Ergebnisse liest

Zwei Vergleichswerte gehören in jeden Report: die Veränderung gegenüber der Vorwoche und der Abstand zur Ausgangsmessung. Der erste zeigt Bewegung, der zweite Entwicklung.

Als praktische Faustregel hat sich bewährt, Veränderungen unter etwa zehn Prozentpunkten in einer einzelnen Woche als Rauschen zu behandeln. Aussagekräftig wird eine Bewegung, wenn sie sich über mehrere Wochen fortsetzt oder gleichzeitig bei mehreren Systemen auftritt.

Der häufigste Fehler

Er besteht darin, aus einer einzelnen guten oder schlechten Woche Schlüsse zu ziehen und daraufhin Maßnahmen zu ändern. Damit wird die eigene Arbeit unbewertbar, weil sich nicht mehr trennen lässt, was gewirkt hat und was Streuung war. Wer misst, sollte die Messung so lange unverändert lassen, bis eine Aussage möglich ist.