In der Suchmaschinenoptimierung (SEO) stehen uns zahlreiche Instrumente zur Verfügung, um sicherzustellen, dass die richtige URL im Index der großen Suchmaschinen landet. Sogenannte Canonical Tags zum Beispiel helfen uns dabei, duplizierte Inhalte zu regeln. Mit Meta-Robots Angaben können wir Seiten generell zur Indexierung freigeben oder vom Index ausschließen. Andere Möglichkeiten wie Hreflang-Annotationen zeigen Google & Co. bei mehrsprachigen Websites an, welche URL die Suchmaschine in welchem Land ausspielen soll. Mit Hilfe der robots.txt Datei können wir dagegen Suchmaschinen bei Bedarf auch vollständig von unserer Website aussperren.
Indexierungsfehler vermeiden
Die richtige Verwendung von Canonicals, Meta Robots, Hreflang & Co.
Die Basics für die Verwendung solcher Instrumente sind eigentlich einfach zu verstehen. Kombiniert man aber verschiedene Möglichkeiten miteinander, kann es schnell recht komplex werden. Arbeitet man dann zusätzlich noch an einer großen E-Commerce Seite mit vielen paginierten Seiten und Filtern, wird es endgültig verwirrend. Wir widmen uns daher in diesem Artikel zunächst dem richtigen Einsatz von Canonical Tags und Meta-Robots Angaben und wie diese zusammenspielen.
Canonical Tags –
Basics & richtiger Einsatz
Das Canonical Tag ist eine Angabe im Quellcode einer Website. Sie verweist auf eine kanonische URL – also diejenige Version einer Webpage, die man im Index der Suchmaschinen wiederfinden möchte. Es wird hauptsächlich verwendet um duplizierte Inhalte (Duplicate Content) zu regeln. Wie duplizierte Inhalte entstehen, kann viele verschiedene Auslöser haben. Einer davon kann der Einsatz von Filtern sein. Aber auch bei schlechter Redaktionsplanung können Inhalte doppelt generiert oder wiederholt erstellt werden.
Und was bedeutet das für meine Seite? Hat man zwei oder mehr URLs mit sehr ähnlichen oder vollständig gleichen Inhalten, konkurrieren diese um dieselben Rankings bei Google. Die Folge ist dann, dass man dadurch meist zwei schwächere Pages erhält. Hat man wiederum insgesamt zu viele ungeregelte duplizierte Inhalte auf einer Website, ist das für Google ein Signal für eine generell eher schlechte Seitenqualität.
Der Grundgedanke beim Einsatz eines Canonicals ist, dass alle Kopien oder Duplikate einer Page auf ihr „Original“ verweisen und so die positiven Ranking-Signale (z.B. PageRank) dorthin weitergeben. Nur die Original-URL soll also von den Suchmaschinen gelistet werden.
Und so sieht ein Canonical aus:
<link rel=“canonical“ href=“https://www.beispielseite.com/blog/canonicals-richtig-verwenden“/>
Meta-Robots Angaben zur Indexierung
Im Zusammenhang mit der Indexierung von Seiten werden die Meta Robots Angaben „index“ und „noindex“ sowie „follow“ und „nofollow“ gebraucht.
Die häufigste Kombination, die man auf einer Standard-Website findet, ist die Variante „index, follow“. Suchmaschinen sollen die Seite listen und den Links auf dieser Seite folgen, sodass sie beim Crawling auf andere relevante Seiten stoßen. Oft findet man auch auf die Angabe „noindex, follow“ vor: Eine bestimmte Seite soll nicht indexiert werden, die verlinkten Seiten sind aber relevant und sollen daher von der Suchmaschine beachtet werden. Hier sollte man aber wissen, dass Google das Crawlen von „noindex“-Seiten (und deren Links), die bei Suchanfragen ja nicht erscheinen sollen, als aufwändig und eher sinnlos betrachtet. Stehen Seiten längere Zeit auf „noindex, follow“ werden sie nach aktuellem Stand möglicherweise als „noindex, nofollow“ gewertet. Sie wären damit für die interne Verlinkung (einem wichtigen Ranking-Signal) auf Dauer wertlos.
Auch die Angabe „all“, die gleichbedeutend mit „index,follow“ ist, findet man häufig vor. Die Angabe „none“ ist wiederum mit „noindex, nofollow“ gleichzusetzen. Ist nichts spezifiziert, behandeln Suchmaschinen die Seite ebenfalls wie wenn „index, follow“ gesetzt wurde.
index: Die Meta-Robot Angabe „index“ erlaubt Suchmaschinen eine URL zu indexieren.
noindex: Die Meta-Robot Angabe „noindex“ verbietet der Suchmaschine eine URL zu indexieren.
follow: „Follow“ gibt an, dass die Suchmaschine den Links auf der Seite folgen soll.
nofollow: Den Links auf der Seite soll nicht gefolgt werden.
Einsatzbereiche von Canonical Tags und „noindex“
Sowohl ein Canonical Tag als auch die Angabe „noindex“ ist dafür geeignet, Seiten aus dem Google Index herauszuhalten bzw. nachträglich zu entfernen.
Mit dem „noindex“-Tag teilt man der Suchmaschine mit, dass man eine Seite generell nicht in den Suchergebnissen von Google gelistet haben möchte. Mit dem Canonical Tag teilt man hingegen mit, dass die entsprechende Seite ein Duplikat ist und dass stattdessen die Originalseite im Index erscheinen soll.
Tendenziell dient ein Canonical Tag also dazu, doppelte Inhalte zu vermeiden. „Noindex“ kommt zum Einsatz, wenn man eine Seite aus anderen Gründen nicht in den Google-Suchergebnissen haben möchte. Theoretisch könnte man auch via „noindex“ Duplicate Content vermeiden. Dafür müssen alle URLs, unter denen ein bestimmter Inhalt erreichbar ist, bis auf die zu indexierende URL, auf „noindex“ gesetzt werden. Allerdings übertragen hier die Kopien keine oder nur deutlich verminderte Ranking-Signale auf das Original. Daher ist für die Regelung von Duplikaten meist ein Canonical zu bevorzugen.
Ein Nachteil von Canonicals besteht allerdings darin, dass Suchmaschinen diese als Hinweis und nicht als verpflichtende Anweisung verstehen. Canonicals werden also oftmals ignoriert, wenn die kopierte Seite aufgrund von weiteren Ranking-Signalen als wichtiger angesehen wird. „Noindex“ wird von den Suchmaschinen hingegen sehr zuverlässig beachtet.
Canonical Tags und „noindex“ nicht kombinieren
Google empfiehlt aktuell, „noindex“ und Canonical-Verweise auf andere Seiten nicht zu kombinieren, da Google dann zur Interpretation von widersprüchlichen Signalen gezwungen wird. Doch was bedeutet das genau?
Wenn eine Seite das „noindex“-Attribut trägt und gleichzeitig mithilfe eines Canonicals auf eine andere Seite verweist, wird Google via Canonical angewiesen, die beiden Seiten als identisch zu behandeln. „Noindex“ zeigt wiederum der Suchmaschine an, die Seite mit diesem Attribut nicht in den Google-Index aufzunehmen. In der Theorie könnte Google dann auch die identische (kanonische) Seite aus dem Index entfernen. Das „noindex“ wird über das Canonical sozusagen von einer Seite zur anderen übertragen.
Generell ist es selten eine gute Idee, Google die Interpretation von Widersprüchen zu überlassen, da man das genaue Ergebnis nicht vorhersehen kann. Im konkreten Fall wird Google (meistens!) von einem Fehler ausgehen und das Canonical ignorieren. Das „Noindex“ wird im Regelfall also nicht auf die kanonische URL übertragen. Prinzipiell wird dann auch mit dieser unsinnigen Kombination aus Canonical und „noindex“ meistens das gewünschte Ergebnis erzielt: Nur eine der beiden identischen Seiten wird indexiert. Allerdings können im Falle von Duplicate Content durch das Ignorieren des Canonical Tags auch keine positiven Ranking-Signale mehr von der Kopie auf die Originalseite übertragen werden.
Die Faustregel:
- Wenn eine URL mit dupliziertem Inhalt nicht in den Index soll, weil es ein Original dazu gibt, setzt man ein Canonical auf die Original URL und lässt „noindex“ weg.
- Wenn die URL keinen Duplicate Content darstellt, aber dennoch nicht in den Index soll, setzt man „noindex“ und verzichtet auf das Canonical.
Falls du Hilfe bei der Umsetzung brauchst oder noch Fragen zum Thema Canonical Tags und Meta-Robots Angaben hast, dann kontaktiere uns gerne noch heute! Unser Loyamo-Team hat die nötige Expertise, um dir im SEO oder in weiteren Bereichen des Online Marketing weiterzuhelfen. Falls dir dieser Beitrag zur Vermeidung von Website-Indexierungsfehler gefallen hat, dann schau doch gerne in unserem Blog vorbei für weitere spannende Einblicke in die Welt des Online Marketing.
