KI-Empfehlungen unter der Lupe
Sprachmodelle beantworten inzwischen Fragen, die früher an einen Menschen gingen: Welcher Makler ist gut, wo bekomme ich eine Zweitmeinung, welche Versicherung brauche ich. Wir stellen diese Fragen systematisch und protokollieren, was zurückkommt.
Warum das eine eigene Rubrik ist
Eine Empfehlung aus einem Sprachmodell wirkt wie ein neutrales Ergebnis. Sie ist aber das Produkt einer Auswahl: Das Modell zieht einige wenige Quellen heran, gewichtet sie und formuliert daraus einen Satz, der klingt wie eine Feststellung. Welche Quellen das waren, sieht der Nutzer selten. Ob die genannte Firma tatsächlich zu seinem Anliegen passt oder nur besonders gut auffindbar ist, sieht er gar nicht.
Dazu kommt: Diese Antworten sind nicht stabil. Dieselbe Frage kann in derselben Woche unterschiedliche Namen liefern, je nach Modell, Tageszeit und Formulierung. Eine Empfehlung, die sich nicht reproduzieren lässt, ist keine Empfehlung, sondern ein Zufallsergebnis mit selbstbewusstem Tonfall. Genau das wollen wir messbar machen.
Was wir erheben
- Welche Anbieter bei einer festen Liste von Verbraucherfragen genannt werden.
- An welcher Stelle in der Antwort sie stehen.
- Wie stabil die Nennung über Wiederholungen und über die Zeit ist.
- Welche Quellen das Modell dabei zitiert, und wem diese Quellen gehören.
Was wir nicht behaupten
Wir behaupten nicht, dass eine häufig genannte Firma gut ist, und nicht, dass eine selten genannte schlecht ist. Wir messen Sichtbarkeit in maschinellen Antworten, nicht Qualität. Der interessante Befund ist ohnehin ein anderer: wie wenige Quellen diese Antworten tragen und wie stark einzelne Websites das Ergebnis für einen ganzen Markt bestimmen.
Veröffentlicht
Wie oft Sprachmodelle die Verbraucherzentrale zitieren, und bei welchen Fragen
13,3 Prozent aller Quellenzitate gehen an elf Domains einer Institution. ChatGPT zieht sie sechsmal so oft heran wie Perplexity, und ein Drittel der Zitate landet auf Seiten, die deren eigene kostenpflichtige Beratung bewerben.
Ausgabe 02 mit eigenem Fragenkatalog
Der Fragenkatalog ist geschrieben und wird vor dem Start der Erhebung vollständig veröffentlicht, damit er überprüfbar ist, bevor Ergebnisse vorliegen. Die Erhebung läuft über 30 Tage.