Inhalt
- noindex, nofollow, index, follow — die Unterschiede
- Wann sollte man noindex einsetzen?
- noindex vs. robots.txt — ein häufiges Missverständnis
- Häufige Fehler beim Einsatz von noindex
- Best Practice
- FAQ
dotflow®
dotflow ist die B2B Digitalagentur für smartes Online-Marketing und überzeugende Websites.
Was ist der noindex-Tag?
noindex ist eine Anweisung an Suchmaschinen, eine bestimmte Seite nicht in den Suchindex aufzunehmen. Eine Seite mit dieser Anweisung wird von Google, Bing und anderen Suchmaschinen nicht in den Suchergebnissen angezeigt, selbst dann nicht, wenn sie über interne oder externe Links erreichbar ist.
Die Anweisung wird üblicherweise als Robots-Meta-Tag im HTML-Quellcode einer Seite gesetzt oder über den HTTP-Header übermittelt. Sie steuert ausschließlich die Indexierung, nicht das Crawling: Suchmaschinen dürfen die Seite weiterhin aufrufen, nehmen sie aber nicht in den Index auf.
noindex zählt zu den grundlegenden Werkzeugen der technischen Suchmaschinenoptimierung. Richtig eingesetzt hilft es dabei, die Qualität des indexierten Seitenbestands zu steuern und das Crawl-Budget einer Website effizienter zu nutzen.
noindex, nofollow, index, follow — die Unterschiede
Der Robots-Meta-Tag kann mehrere Anweisungen kombinieren. Wichtig ist die Unterscheidung zwischen Indexierung (wird die Seite in den Index aufgenommen?) und dem Verfolgen von Links (folgt die Suchmaschine den Links auf der Seite?).
| Anweisung | Bedeutung |
|---|---|
| index | Die Seite darf in den Suchergebnissen erscheinen (Standardverhalten). |
| noindex | Die Seite soll nicht in den Suchergebnissen erscheinen bzw. daraus entfernt werden. |
| follow | Die Suchmaschine darf den Links auf der Seite folgen (Standardverhalten). |
| nofollow | Die Suchmaschine soll den Links auf der Seite nicht folgen. |
In der Praxis sind vor allem zwei Kombinationen relevant:
noindex, follow: Die Seite erscheint nicht in den Suchergebnissen, die Links darauf werden aber weiterhin verfolgt. Diese Variante eignet sich für Seiten, die selbst keinen Suchwert haben, aber auf wichtige Unterseiten verweisen – etwa paginierte Übersichten oder bestimmte Archivseiten.
noindex, nofollow: Die Seite wird weder indexiert noch werden ihre Links verfolgt. Sinnvoll für Bereiche, die vollständig aus der Suchmaschinen-Logik herausgehalten werden sollen, etwa Login-Bereiche oder interne Tools.
Praxistipp
Das Deindexieren einer bereits indexierten URL kann einige Wochen dauern, da Google regelmäßig seine Indexierung aktualisiert. Geduld ist hier gefragt.
Wann sollte man noindex einsetzen?
noindex ist immer dann sinnvoll, wenn eine Seite zwar für Nutzer existieren soll, aber keinen Mehrwert in den Suchergebnissen bietet oder dort sogar schaden würde. Typische Anwendungsfälle:
Danke- und Bestätigungsseiten: Seiten, die nur nach dem Absenden eines Formulars erscheinen, haben in den Suchergebnissen nichts zu suchen.
Interne Suchergebnisseiten: Von Nutzern erzeugte Suchergebnisse innerhalb der Website erzeugen beliebig viele dünne URLs und sollten nicht indexiert werden.
Filter- und Sortier-URLs: In Onlineshops entstehen durch Filterkombinationen viele nahezu identische Seiten, die zu Duplicate Content führen können.
Rechtliche Pflichtseiten: Impressum, AGB oder Datenschutzerklärung müssen vorhanden sein, bringen aber keinen Suchwert und werden häufig auf noindex gesetzt.
Staging- und Testumgebungen: Entwicklungsversionen einer Website dürfen niemals im Index landen.
Dünne oder doppelte Inhalte: Seiten mit wenig eigenständigem Inhalt können die wahrgenommene Gesamtqualität einer Domain senken.
Wie setzt man eine Seite auf noindex?
Es gibt zwei gängige Wege, eine Seite auf noindex zu setzen.
1. Als Meta-Tag im HTML
Die Anweisung wird im <head>-Bereich der Seite eingefügt:
<meta name="robots" content="noindex, follow">
2. Über den HTTP-Header
Besonders für nicht-HTML-Dateien wie PDFs eignet sich der X-Robots-Tag im HTTP-Header:
X-Robots-Tag: noindex
3. In CMS-Systemen
In den meisten Content-Management-Systemen lässt sich noindex ohne Code-Eingriff über ein SEO-Plugin setzen. In WordPress etwa über Plugins wie Yoast oder Rank Math, die in den Seiteneinstellungen einen entsprechenden Schalter anbieten.
Sie wollen Ihre Seite optimieren?
Technisches SEO erscheint oft wie Raketenwissenschaft. Sie wollen trotzdem durchstarten und suchen nach Erfahrung von einer SEO-Agentur mit Ergebnissen? Lassen Sie uns sprechen!
noindex vs. robots.txt — ein häufiges Missverständnis
noindex und die robots.txt werden oft verwechselt, erfüllen aber grundverschiedene Aufgaben.
Die robots.txt steuert das Crawling — sie sagt Suchmaschinen, welche Bereiche sie aufrufen dürfen und welche nicht. Sie verhindert aber nicht zuverlässig die Indexierung: Eine per robots.txt gesperrte Seite kann trotzdem im Index erscheinen, wenn externe Links auf sie verweisen.
Der noindex-Tag steuert die Indexierung — er sorgt verlässlich dafür, dass eine Seite nicht in den Suchergebnissen erscheint.
Daraus ergibt sich ein wichtiger Grundsatz: Wer eine Seite zuverlässig aus dem Index halten will, darf sie nicht gleichzeitig per robots.txt sperren. Denn wenn die Suchmaschine die Seite nicht crawlen darf, kann sie die noindex-Anweisung gar nicht erst lesen.
Häufige Fehler beim Einsatz von noindex
noindex und robots.txt kombinieren — Der häufigste Fehler. Wird eine Seite per robots.txt blockiert, kann die Suchmaschine den noindex-Tag nicht sehen — die Seite bleibt unter Umständen im Index.
Wichtige Seiten versehentlich ausschließen — Ein global gesetzter noindex, etwa nach einem Relaunch aus der Staging-Umgebung, kann ganze Websites aus dem Index entfernen. Solche Anweisungen sollten nach dem Livegang immer geprüft werden.
Ungeduld beim Deindexieren — Die Entfernung aus dem Index erfolgt nicht sofort, sondern erst beim nächsten Crawl der Seite. Das kann je nach Crawl-Frequenz einige Tage bis Wochen dauern.
Best Practice
Best Practice: Bei der laufenden Suchmaschinenoptimierung (SEO) sollte regelmäßig überprüft werden, ob das Setzen eines noindex sinnvoll ist. Seiten mit sensiblen oder irrelevanten Inhalten sollten mit noindex versehen werden, um eine gezielte Steuerung des Indexierungsverhaltens sicherzustellen.
FAQ
Was ist der Unterschied zwischen noindex und nofollow?
noindex verhindert die Indexierung der Seite selbst. nofollow verhindert, dass Suchmaschinen den Links auf der Seite folgen. Beide lassen sich kombinieren.
Reicht die robots.txt aus, um eine Seite aus dem Index zu halten?
Nein. Die robots.txt steuert nur das Crawling. Um eine Seite zuverlässig aus dem Index zu halten, sollte der noindex-Tag verwendet werden, ohne die Seite gleichzeitig per robots.txt zu sperren.
Wie lange dauert es, bis eine Seite deindexiert wird?
Das hängt davon ab, wann die Suchmaschine die Seite das nächste Mal crawlt. In der Regel dauert es einige Tage bis Wochen.
Sollte man Impressum und Datenschutzerklärung auf noindex setzen?
Das ist möglich und gängig, da diese Seiten keinen Suchwert haben. Zwingend notwendig ist es nicht – schädlich wirkt es sich in der Regel aber nicht aus.