KI-Sichtbarkeit messen: Methodik und Kennzahlen

Eine Messung wird erst dann aussagekräftig, wenn Fragenkatalog, Bewertungslogik und Rhythmus festliegen und über Monate unverändert bleiben.

Den Fragenkatalog aufbauen

Der Katalog bildet ab, wie Interessenten tatsächlich fragen. Bewährt hat sich eine Aufteilung in fünf Gruppen.

Zwei Regeln haben sich als wichtig erwiesen. Erstens sollten generische Fragen keine Wettbewerbernamen enthalten, weil deren Nennung die Antwort in eine Richtung lenkt und die Messung verzerrt. Zweitens muss der Katalog nach dem ersten Lauf unverändert bleiben. Jede Änderung erzeugt eine neue Ausgangslage und macht den Vergleich mit früheren Wochen unbrauchbar.

Antworten bewerten

Jede Antwort lässt sich nach drei Aspekten auswerten.

• Nennung. Kommt der Firmanname vor, und wie oft? Schreibvarianten und Domainnennungen gehören dazu.
• Position. An welcher Stelle steht die Firma unter allen genannten Anbietern? Die Reihenfolge im Text gibt den Rang.
• Quelle. Welche Domains zitiert das System, und ist die eigene darunter?

Daraus lässt sich eine einfache Punkteskala bilden: keine Nennung, einfache Nennung, mehrfache Nennung oder Nennung mit eigener Quelle, Erstnennung. Wichtig ist weniger die genaue Skala als ihre Konstanz über die Zeit.

Ausgangswert und Vergleichswerte

Der erste vollständige Lauf ist der Ausgangswert. Ab dem zweiten Lauf werden zwei Vergleiche interessant: die Veränderung zur Vorwoche und der Abstand zum Ausgangswert. Der Vorwochenwert zeigt kurzfristige Bewegung, der Ausgangswert-Abstand die Entwicklung seit Beginn der Messung. Beide Werte gehören in jeden Report, weil eine einzelne Woche für sich genommen wenig aussagt.

Mit der Streuung umgehen

Sprachmodelle antworten nicht deterministisch. Selbst bei identischer Frage können sich Reihenfolge und Auswahl der genannten Anbieter unterscheiden. Drei Vorkehrungen begrenzen den Effekt.

1. Genug Fragen. Bei 16 Fragen fällt eine abweichende Antwort mit rund sechs Prozentpunkten ins Gewicht, bei fünf Fragen mit zwanzig.
2. Mehrere Systeme. Wenn ein Trend bei drei von vier KI-Systemen gleichzeitig auftritt, ist er belastbarer als bei einem einzelnen.
3. Fester Rhythmus. Wöchentliche Messungen zur gleichen Zeit machen Ausreißer als solche erkennbar.

Als Faustregel gilt: Veränderungen unter zehn Prozentpunkten in einer einzelnen Woche sind meist Rauschen. Interessant wird es, wenn sich eine Bewegung über mehrere Wochen fortsetzt.

Welche Systeme abfragen

Sinnvoll ist die Abdeckung der Systeme, die Ihre Zielgruppe tatsächlich nutzt. Für den deutschsprachigen Markt sind das im Wesentlichen ChatGPT, Claude, Perplexity und Gemini. Die Systeme unterscheiden sich deutlich darin, wie stark sie die Websuche einsetzen und wie ausführlich sie Quellen angeben, weshalb die Werte je KI-System getrennt ausgewiesen werden sollten.

KI-Radar setzt diese Methodik um: fester Katalog aus 16 Fragen, vier KI-Systeme, wöchentlicher Lauf, Ausgangswert ab dem ersten Report. Details zum Ablauf stehen auf der Übersichtsseite.

Häufige Fragen

Wie viele Fragen braucht eine belastbare Messung?

In der Praxis haben sich etwa 15 bis 20 Fragen je Firma bewährt, aufgeteilt in generische Kategorie-Fragen, Kauf- und Preisfragen sowie einige direkte Markenfragen. Weniger Fragen erhöhen den Einfluss einzelner Ausreißer.

Warum liefert dieselbe Frage unterschiedliche Antworten?

Sprachmodelle erzeugen Text mit einem Zufallsanteil und greifen bei aktiver Websuche auf wechselnde Treffer zu. Deshalb wird ein fester Fragenkatalog regelmäßig wiederholt und der Verlauf betrachtet statt der Einzelmessung.

Was ist der Ausgangswert?

Der Ausgangswert ist der erste vollständige Messdurchlauf. Alle späteren Werte werden zusätzlich zur Vorwoche auch gegen diesen Ausgangswert verglichen, um langfristige Entwicklungen sichtbar zu machen.