„IndexNow“ und das Ende des Crawling-Zufalls? Warum Bing neue Wege geht und Google noch abwartet…

Passive Inhaltsaktualisierung bei Google: Crawling-Budget (pull)

Suchmaschinen rufen daher regelmäßig Inhalte ab, um Änderungen zu erkennen und zu bewerten. Dieses klassische Verfahren nennt man Pull-Verfahren. Es basiert darauf, dass Suchmaschinen selbst aktiv prüfen, ob es neue oder geänderte Teile einer Seiten gibt. Um den Suchmaschinen das Leben etwas zu erleichtern, und meine Seiten besser in den Index zu bringen, hat man vor mehr als 20 Jahren die „sitemap“ erfunden. Im Juni 2005 hat Google zur schnelleren und optimierten Indexierbarkeit von Webseiten den sitemap.xml-Standard veröffentlicht. Knapp ein Jahr darauf haben dann auch Yahoo! und Microsoft (heute BING) den Standard übernommen. In der Sitemap wird im Besten Fall nicht nur jede Seite als eigene URL aufgelistet, sondern auch deren letzte Änderung und Relevanz sowie der Crawling-Interwall, den sich der Betreiber optimalerweise vorstellt. Damit sollte es möglich sein, neue Seiten schneller in den Index zu bekommen, weil die Suchmaschinen neue Seiten durch ihr Crawl-Budget besser hinzufügen können und nicht alte Seiten zum X-ten mal wieder und wieder besuchen.

Aktive Inhaltsaktualisierung bei BING: IndexNow (push)

Dennoch ist das Prinzip in die Jahre gekommen und es gibt Optimierungsbedarf. Mit dem offenen Protokoll „IndexNow“ setzt Bing dagegen auf das Push-Prinzip. Hier informiert die Website proaktiv die Suchmaschine direkt über Änderungen und Neuerscheinungen innerhalb des Internetauftritts. 

Das traditionelle und bewährte alte Pull-Verfahren funktioniert zuverlässig, ist aber ineffizient. Suchmaschinen durchsuchen wie eingangs beschrieben, fortlaufend Milliarden von Seiten, auch wenn sich an den meisten davon gar nichts verändert hat. Überprüft werden muss das dennoch… Dieses Crawling erzeugt eine enorme und vor allem unnötige Datenlast, belastet Server unverhältnismäßig und führt zu erheblichem zusätzlichen Energieverbrauch. 

Das Push-Verfahren von IndexNow dreht diesen Prozess um. Anstatt dass Suchmaschinen selbst nach geänderten oder neuen Inhalten auf Internetseiten suchen, sendet die betroffene Website aktiv eine Benachrichtigung, sobald eine Seite neu erstellt, geändert oder gelöscht wurde. Die Suchmaschine ruft dann gezielt nur diese URL ab und alle anderen bleiben „Unbesucht“.

Hintergrund und Ressourcen sparen

Damit reduziert sich der Ressourcenverbrauch deutlich. Server werden entlastet, Crawler erzeugen weniger Datenverkehr, und neue Inhalte erscheinen schneller in den Suchergebnissen.

Bing positioniert sich daher auch gezielt mit IndexNow als Suchmaschine mit Fokus auf Effizienz, Nachhaltigkeit und Transparenz. Umwelt ist Trumpf und am Ende ist Strom das teuerste an der ganzen Geschichte. Das Protokoll ist offen dokumentiert und kann (könnte) von jeder Suchmaschine verwendet werden.

Für Websitebetreiber bedeutet das eine einfachere Kontrolle über die Indexierung. Neue oder aktualisierte Seiten lassen sich sofort übermitteln. Bing prüft die gemeldeten URLs und teilt diese Daten automatisch mit anderen teilnehmenden Suchmaschinen. Dadurch können Änderungen innerhalb von Minuten sichtbar werden.

Einsatz der neuen Technik

Bing arbeitet hier eng mit Anbietern wie Cloudflare, Yoast! und verschiedenen CMS-Systemen zusammen. WordPress, TYPO3, Wix und weitere Plattformen bieten inzwischen native Schnittstellen zu IndexNow an. Teilweise sind diese direkt in die OpenSource-Systeme integriert oder können als Extension oder PlugIn dazu installiert werden. Für Unternehmen mit großen oder häufig aktualisierten Seiten kann das eine spürbare Verbesserung sein, denn auch die Belastung der eigenen Server ist nicht außer Acht zu lassen.

Google testete IndexNow bereits 2022, hat sich aber bis heute gegen eine Integration entschieden. Die Gründe liegen vor allem in der bestehenden Infrastruktur, die über Jahrzehnte auf eine autonome und generelle Indexierung optimiert wurde.

Google verfügt über eines der effizientesten Crawling-Systeme der Welt. Es basiert auf einem eigenen Priorisierungssystem, dem sogenannten Crawl-Budget. Damit werden Seiten, die sich häufig ändern, automatisch häufiger überprüft. Für Google ergibt sich also kein unmittelbarer Vorteil durch ein zusätzliches Push-Protokoll.

Ein weiterer Faktor ist die Kontrolle über Datenqualität. Google verlässt sich lieber auf eigene Crawler, anstatt fremde Signale zu übernehmen, die potenziell manipuliert werden könnten. Hier haben sie wohl aus der Vergangenheit gelernt, denn nichts verbreitet sich schneller als eine gute Möglichkeit, die eigenen Suchmaschinentreffer zu beeinflussen und bei vielen Keywords auf Platz 1-3 zu landen. Das Risiko, dass Betreiber unzuverlässige oder massenhaft generierte Signale senden um sich „nach vorne zu mogeln“, ist extrem hoch.

Darüber hinaus hat Google mit der eigenen Indexing API bereits eine gezielte Push-Schnittstelle – allerdings nur für spezielle Inhalte wie Jobanzeigen oder Livestreams. Eine generelle Öffnung für alle Seiten ist derzeit nicht geplant. Man will hier also klar die Hoheit über den Aktualisierungsintervall nicht aus der Hand geben.

Bing betont in seinen Veröffentlichungen zur IndexNow-Technologie den ökologischen Nutzen, der absolut einleuchtend ist. Durch die gezielte Anfrage nur tatsächlich geänderter Inhalte, reduziert sich der Energieaufwand für das Crawling erheblich. Suchmaschinen und Server arbeiten massiv ressourcenschonender und brauchen von allem Weniger bei theoretisch besserem Ergebnis. Zumindest funktioniert das so lange, wie niemand das Betrügen beginnt und falsche Signale einreicht. 

Google verfolgt denselben Nachhaltigkeitsgedanken, setzt ihn jedoch mit eigenen Methoden um. Die Suchmaschine reduziert das Crawling automatisiert über „Machine Learning“ und serverseitige Heuristiken, ohne auf externe Push-Signale zu reagieren. Beide Wege führen zum selben Ziel, aber mit unterschiedlichen technischen Ansätzen. Dennoch kann man festhalten, dass das neue Ziel ist: „Strom sparen, wo es geht!“

Unterschiedliche Techniken für das gleiche Ziel

Bing verfolgt mit IndexNow einen modernen Ansatz, der Geschwindigkeit, Transparenz und Nachhaltigkeit vereint. Änderungen auf einer Website lassen sich gezielt und sofort übermitteln, ohne auf das nächste Crawling warten zu müssen.

Google bleibt beim eigenen, erprobten System und sieht aktuell keinen zwingenden Vorteil in einem offenen Push-Protokoll. Das Unternehmen optimiert lieber intern und behält damit die vollständige Kontrolle über Datenqualität und Indexierbarkeit.

Für Websitebetreiber ist IndexNow dennoch eine sinnvolle Ergänzung. Es beschleunigt die Sichtbarkeit neuer Inhalte, reduziert unnötigen Traffic und trägt zu einer effizienteren Suchmaschinenlandschaft bei. Auch wenn Google noch zögert, deutet vieles darauf hin, dass Push-basierte Verfahren künftig eine größere Rolle spielen werden.

Fazit zum Thema IndexNow

Final geht es aber wieder einmal um das gleiche: „Ohne gutes OnPage und OffPage SEO als Basisoptimierung bleiben die besten Inhalte einer Webseite nur denen zugänglich, die Wissen das es diese Information dort gibt!“