Kaum ein Text über generative Sichtbarkeit kommt ohne den Verweis auf „die Princeton-Studie" aus. Gemeint ist die Arbeit GEO: Generative Engine Optimization, vorgestellt 2024 auf der 30. ACM-SIGKDD-Konferenz in Barcelona und als Preprint unter arXiv:2311.09735 einsehbar. Verfasst wurde sie von Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan und Ameet Deshpande.
Zitiert wird meist eine einzelne Zahl. Der Versuchsaufbau dahinter lohnt aber den genaueren Blick, weil er erklärt, was die Zahl bedeutet und was nicht.
Der Versuchsaufbau
Die Autoren bauten ein zweistufiges System nach, wie es generativen Antwortdiensten zugrunde liegt: Zunächst werden zu einer Anfrage Quellen aus einer Suche gezogen, anschließend erzeugt ein Sprachmodell daraus eine Antwort mit Verweisen auf diese Quellen.
Für die Auswertung entwickelten sie einen Benchmark, den sie GEO-bench nennen: eine Sammlung von rund 10.000 Anfragen, verteilt über mehrere Datensätze und thematische Bereiche. Für jede Anfrage wurde eine Quelle einmal unbearbeitet und einmal bearbeitet durch das System geschickt und die Veränderung gemessen.
Wie Sichtbarkeit gemessen wurde
Ein zentraler Beitrag der Arbeit liegt in der Messgröße selbst. In einer klassischen Ergebnisliste ist Sichtbarkeit einfach zu bestimmen: Platz eins ist sichtbarer als Platz sieben. In einem generierten Fließtext funktioniert das nicht.
Die Autoren führen deshalb Kennzahlen ein, die berücksichtigen, wie viel Text auf eine Quelle zurückgeht, an welcher Stelle der Antwort sie auftaucht und welchen Eindruck die Nennung insgesamt vermittelt. Sichtbarkeit wird damit zu einer Anteilsgröße statt einer Rangposition – ein Perspektivwechsel, der über die Studie hinaus Bestand hat.
Die getesteten Methoden
Untersucht wurden neun Bearbeitungsvarianten. Dazu zählten unter anderem:
- Ergänzen konkreter Statistiken
- Einfügen wörtlicher Zitate
- Nennen von Quellen und Referenzen
- Sprachliche Glättung des Textes
- Anreichern mit Fachbegriffen
- Erhöhen der Schlüsselwortdichte
Das Ergebnis fällt deutlich aus: Die Methoden, die Substanz ergänzen – Statistiken, Zitate, Quellenangaben – schnitten durchgehend am besten ab. Die Autoren berichten für sie relative Verbesserungen in der Größenordnung von etwa 30 bis 40 Prozent gegenüber der unbearbeiteten Fassung.
Bemerkenswert ist die Gegenprobe: Klassische Kniffe aus dem Suchmaschinen-Repertoire, etwa das Erhöhen der Schlüsselwortdichte, brachten in diesem Aufbau keinen vergleichbaren Vorteil.
Der Effekt für schwächer platzierte Quellen
Ein weiterer Befund verdient Aufmerksamkeit: Quellen, die in der vorgelagerten Suche auf hinteren Rängen lagen, profitierten von der Bearbeitung überdurchschnittlich stark. Für Anbieter ohne Spitzenposition in der klassischen Suche ist das die praktisch interessanteste Aussage der ganzen Arbeit – die generative Ebene gleicht Rangunterschiede teilweise aus.
Was sich aus der Studie nicht ableiten lässt
Drei Einschränkungen sind wichtig:
Erstens wurde in einem nachgebauten System gemessen, nicht in den Livediensten von OpenAI, Google, Anthropic oder Perplexity. Deren tatsächliche Auswahllogik ist nicht öffentlich, und sie ändert sich laufend.
Zweitens sind die Werte relativ. Eine Verbesserung um 40 Prozent gegenüber einem sehr niedrigen Ausgangswert bleibt ein niedriger Wert.
Drittens ist die Arbeit von 2024. Die eingesetzten Modelle sind seither mehrfach abgelöst worden. Die zugrunde liegende Mechanik – belegte, gut strukturierte Inhalte werden bevorzugt herangezogen – dürfte robust sein; die konkreten Zahlen sind es nicht.
Was bleibt
Der bleibende Wert der Arbeit liegt weniger in den Prozentzahlen als in zwei anderen Punkten: der Erkenntnis, dass Sichtbarkeit in generierten Antworten als Anteil und nicht als Rang zu denken ist, und dem empirischen Befund, dass Substanz stärker wirkt als formale Optimierung.
Wer die Studie zitiert, sollte den Versuchsaufbau mitliefern. Eine Zahl ohne ihren Kontext ist genau die Art von Aussage, die generative Systeme zu Recht schlechter bewerten.