Warum antwortet ChatGPT jedes Mal anders, und wie messen Sie Nennungen?

ChatGPT antwortet vor allem deshalb nicht jedes Mal gleich, weil es Antworten neu formuliert und bei einer Frage unter Umständen erneut im Web sucht und dabei andere Seiten findet. Auch Aktualisierungen des Systems, Ihr Standort, der genaue Wortlaut und, wenn Sie angemeldet sind, Ihr Verlauf können die Antwort verändern. Messen lässt sich das trotzdem: Zählen Sie deshalb die Nennungen in vielen Antworten, statt sich auf eine einzige zu verlassen.

Dieser Ratgeber erklärt die Ursachen in einfachen Worten, zeigt, was unsere Wiederholungsprüfungen ergaben, und stellt zwei Werkzeuge vor, mit denen sich schwankende Antworten messen lassen: einen wahrscheinlichen Bereich und einen Test auf eine Veränderung.

Warum ChatGPT auf dieselbe Frage anders antwortet

Die folgenden Faktoren können KI-Antworten beeinflussen. Die Einzelheiten unterscheiden sich je nach Anbieter und ändern sich mit der Zeit. Ausserdem legen die Anbieter nicht alles offen. Verstehen Sie dies darum als Überblick über mögliche Einflüsse, nicht als genaue Beschreibung eines bestimmten Systems.

Etwas Zufall beim Schreiben

Sprachmodelle schreiben eine Antwort Stück für Stück. Bei jedem Schritt gibt es meist mehrere plausible Fortsetzungen. Assistenten für die breite Öffentlichkeit lassen bei dieser Wahl unter Umständen etwas Zufall zu. Dieselbe Frage kann darum eine andere Formulierung, eine andere Reihenfolge und andere Unternehmen ergeben. Ein Velogeschäft in Bern kann in der einen Liste stehen und in der nächsten fehlen, ohne dass das Geschäft etwas geändert hat.

Möglicherweise eine neue Websuche

Assistenten wie ChatGPT, Google AI Mode und Copilot können während des Antwortens im Web nachschlagen. Welche Treffer zurückkommen und welche davon der Assistent liest, kann sich von Anfrage zu Anfrage unterscheiden. Wird ein anderer Artikel berücksichtigt, können andere Unternehmen in der Antwort erscheinen.

Aktualisierungen des Systems

Die Firmen hinter diesen Assistenten ändern ihre Modelle und Einstellungen von Zeit zu Zeit, ohne jede Änderung öffentlich anzukündigen. Eine Antwort vom letzten Monat stammt unter Umständen von einer anderen Version des Assistenten. Eine Veränderung über mehrere Wochen muss also nicht auf eine Massnahme des Unternehmens zurückgehen.

Persönliche Einstellungen und Verlauf

Angemeldete Nutzerinnen und Nutzer erhalten unter Umständen Antworten, die von der Gedächtnisfunktion, früheren Chats oder eigenen Anweisungen geprägt sind, sofern diese Funktionen eingeschaltet sind. Zwei Kunden, die dieselbe Frage stellen, sehen darum vielleicht verschiedene Antworten. CheckAI stellt die Fragen ohne Anmeldung. Das nimmt diesen Einfluss aus der Messung, bedeutet aber auch, dass ein angemeldeter Kunde etwas anderes sehen kann.

Ort, Sprache und Wortlaut

Woher eine Frage zu kommen scheint und in welcher Sprache sie gestellt wird, kann beeinflussen, welche Unternehmen als passend gelten. In unserem Aufbau lässt nur Google AI Mode eine Ländereinstellung zu. ChatGPT, Gemini und Copilot erhalten von uns keinen Standort. Deshalb nennen wir den Ort in jeder Frage. Auch der Wortlaut zählt: «Steuerberater in München für Selbständige» und «Wer hilft mir in München bei der Steuererklärung» sind für einen Assistenten verschiedene Fragen und können verschiedene Listen ergeben.

Was unsere Wiederholungsprüfungen zeigten

Unsere Daten Für zwei Unternehmen wiederholten wir dieselben Fragen am selben Tag. So entstanden 42 Antwortpaare, in denen jeweils dasselbe Unternehmen mit derselben Frage und demselben Assistenten geprüft wurde. In keinem der 42 Paare war die Liste der genannten Unternehmen identisch. Im Schnitt überschnitten sich die beiden Listen zu 24 %: Von allen Unternehmen, die in mindestens einer der beiden Antworten vorkamen, wurde rund ein Viertel in beiden genannt.

Unsere Daten Ob das geprüfte Unternehmen genannt wurde oder nicht, änderte sich seltener. In 38 der 42 Paare (90 %) blieb dieses Ergebnis gleich, meist weil das Unternehmen in keiner der beiden Antworten genannt wurde. In 4 Paaren änderte es sich. Verschiedene Assistenten waren sich noch weniger einig als Wiederholungen beim selben Assistenten: Bei derselben Frage kamen im Schnitt rund 11 % der von zwei Assistenten genannten Unternehmen in beiden Antworten vor. Zusammen nannten die vier Assistenten im Median 17 verschiedene Unternehmen pro Frage.

Über viele Antworten zählen, statt einer einzigen zu vertrauen

Wenn sich eine Antwort von einer Stunde zur nächsten ändern kann, ist eine einzelne Antwort eine Stichprobe und kein Urteil. Aussagekräftiger ist der Anteil der Antworten, in denen Ihr Unternehmen genannt wird. Darum beginnt ein Bericht von CheckAI mit einer Zählung wie «In 3 von 24 Antworten genannt», aufgeteilt nach Assistent, und nicht mit einer einzelnen Antwort.

BildschirmfotoEchten Bericht öffnen ›

Das gilt genauso, wenn Sie von Hand prüfen. Eine Frage einmal zu stellen und eine Liste zu lesen, sagt etwas über diesen Moment. Dieselben Fragen mehrmals zu stellen und zu zählen, sagt etwas über das Muster. Solche Zählungen gibt es auch für einzelne Branchen, zum Beispiel in den Tests zu Velogeschäften und Treuhändern.

Der wahrscheinliche Bereich: Wie genau ist ein Anteil?

Ein Anteil aus wenigen Antworten ist unsicher. Unsere Berichte zeigen ihn darum mit einem wahrscheinlichen Bereich (siehe Glossar zur KI-Sichtbarkeit), berechnet als 90-%-Wilson-Intervall. In einfachen Worten: Das ist die Spanne der tatsächlichen Anteile, die das Gezählte plausibel hätten ergeben können. Sind die Antworten unabhängig und vergleichbar, enthalten so berechnete Bereiche über wiederholte Prüfungen hinweg den tatsächlichen Anteil ungefähr 9 von 10 Mal.

Beispiel: Ein Unternehmen wird in 3 von 24 Antworten genannt, das sind 12,5 %. Der wahrscheinliche Bereich (90 %) liegt bei rund 5 bis 27 % (5,1 bis 27,5 % vor dem Runden). Die 12,5 % sind eine Schätzung, kein exakter Wert. Der wahrscheinliche Bereich reicht von rund einer von zwanzig bis etwas über einer von vier Antworten. Selbst 0 Nennungen in 24 Antworten lassen noch einen Bereich von 0 bis rund 10 % offen. Dass Ihr Unternehmen in dieser Prüfung nicht genannt wurde, beweist also nicht, dass keine Kundin und kein Kunde das Unternehmen je genannt sieht.

Bei der Berechnung wird jede Antwort als unabhängig behandelt. Antworten auf dieselben Fragen hängen aber zusammen. Verstehen Sie die Bereiche und den Test weiter unten darum als grobe Orientierung, nicht als exakte Grenzen.

Warum 24 Antworten einen breiten Bereich ergeben und wie mehr Antworten ihn verengen

Wie breit der Bereich ist, hängt vor allem von der Zahl der Antworten ab. Die Tabelle hält den Anteil bei 12,5 % fest und ändert nur die Zahl der Antworten.

Fünfmal so viele Antworten (120 statt 24) machen den Bereich mehr als halb so schmal. Eine weitere Verdoppelung auf 240 verengt den Bereich weniger stark. Das spricht in der Praxis dafür, pro Prüfung mehr Fragen zu stellen und Prüfungen zu wiederholen: Grössere Stichproben verengen den Bereich in der Regel, und am meisten bringt der Anfang.

Zwei Prüfungen vergleichen: echte Veränderung oder übliche Schwankung?

Wenn sich ein Anteil zwischen zwei Prüfungen verändert, ist die Frage, ob die Veränderung grösser ist als die Schwankung, mit der man ohnehin rechnen muss. CheckAI beantwortet sie mit einem Test für zwei Anteile auf dem 90-%-Niveau: Er vergleicht die beiden Anteile und fragt, wie wahrscheinlich ein Unterschied dieser Grösse wäre, wenn sich der tatsächliche Anteil gar nicht verändert hätte. Ist ein Unterschied dieser Grösse unter der Annahme eines unveränderten Anteils auf diesem Niveau selten genug, wird die Veränderung zur genaueren Prüfung markiert. Andernfalls findet der Test keinen klaren Hinweis auf eine Veränderung.

Vier Beispiele, alle mit einem Ausgangsanteil von 12,5 % und mit demselben Test berechnet:

Bei 24 Antworten ist ein Anstieg von 3 auf 6 Nennungen noch kein klarer Hinweis auf eine Veränderung. Ein Anstieg auf 8 liefert nach diesem Test dagegen einen solchen Hinweis. Bei 120 Antworten liefert bereits ein kleinerer Unterschied einen Hinweis auf eine Veränderung: von 12,5 % auf 22,5 %.

Auch ein Test auf dem 90-%-Niveau kann eine Veränderung melden, obwohl sich nichts verändert hat. Bei einem einzelnen Vergleich passiert das unter seinen Annahmen etwa 1 von 10 Mal. Zusammenhängende Antworten können diese Rate beeinflussen, und viele Vergleiche erhöhen die Gefahr, dass mindestens einmal ein Fehlalarm auftritt. Eine einzelne Veränderung, die den Test besteht, ist ein Grund, genauer hinzuschauen. Ein Muster, das sich über mehrere Prüfungen wiederholt, ist ein stärkerer Hinweis.

So messen Sie trotz der Schwankungen

Ratschlag Mit diesen Regeln bleiben die Zahlen von einer Prüfung zur nächsten vergleichbar, ob Sie ein Werkzeug nutzen oder ein Notizheft.

1. Behalten Sie dieselben Fragen. Wer den Wortlaut ändert, misst eine andere Frage. Wenn Sie Fragen hinzufügen, vergleichen Sie alte und neue getrennt. Wie Sie die Fragen formulieren, steht unter prüfen, ob ChatGPT Ihr Unternehmen empfiehlt.
2. Behalten Sie dieselben Einstellungen. Verwenden Sie dieselben Assistenten, dieselbe Sprache und denselben Ort in der Frage. Stellen Sie die Fragen jedes Mal ohne Anmeldung.
3. Zählen Sie Anteile, nicht einzelne Antworten. Notieren Sie für jede Antwort, ob Ihr Unternehmen genannt wurde oder nicht, und arbeiten Sie mit «k von n», nicht mit der einen Antwort, die Sie zufällig gelesen haben.
4. Verfolgen Sie die Zahlen über Wochen. Ein fester Rhythmus, zum Beispiel wöchentlich oder alle zwei Wochen, zeigt einen Verlauf, den eine einzelne Prüfung nicht zeigen kann.
5. Reagieren Sie nicht auf eine einzelne Antwort. Eine Bäckerei in Zürich, die in einer ChatGPT-Antwort fehlt, kann daraus kaum etwas über ihre Sichtbarkeit ableiten. Schauen Sie auf den Anteil, seinen Bereich und darauf, ob der Test einen Hinweis auf eine Veränderung liefert.