Technisches SEO: Grundlagen von Crawling und Indexierung

Technisches SEO ist die Infrastrukturebene, die es Suchmaschinen ermöglicht, deine Website zu finden, zu crawlen und korrekt zu indexieren — egal, wie gut deine Inhalte sind. Du kannst den besten Artikel der Welt schreiben, aber wenn der Googlebot die Seite nicht erreichen kann oder sich entscheidet, sie nicht zu indexieren, existiert diese Seite in den Suchergebnissen schlicht nicht. In diesem Leitfaden gehen wir durch, wie Crawling und Indexierung tatsächlich funktionieren, was das Crawl-Budget ist, was robots.txt bewirkt und welche Indexierungssteuerungen du wirklich hast — mit praktischen Beispielen.

Crawling und Indexierung: zwei getrennte Phasen

Damit eine Seite in den Ergebnissen erscheint, durchläuft sie zwei Schritte, und sie zu verwechseln ist der häufigste Fehler:

Crawling: Der Googlebot besucht eine URL, lädt das HTML herunter und folgt den Links auf der Seite, um neue URLs zu entdecken.
Indexierung: Der gecrawlte Inhalt wird verarbeitet, verstanden und dem Suchindex hinzugefügt. Erst eine indexierte Seite wird berechtigt, in den Ergebnissen zu erscheinen.

Der entscheidende Punkt: Dass eine Seite gecrawlt wird, bedeutet nicht, dass sie indexiert wird. Ebenso kannst du, wenn du das Crawling blockierst, nicht garantieren, dass Google die Seite entfernt, denn es kann den Inhalt nicht mehr sehen, um darauf zu reagieren. Diese Unterscheidung ist die Grundlage des Unterschieds zwischen robots.txt und noindex.

Was ist das Crawl-Budget, und wann ist es wichtig?

Das Crawl-Budget ist die praktische Anzahl an URLs, die Google innerhalb eines bestimmten Zeitraums von deiner Website crawlt. Es besteht aus zwei Komponenten: der Crawl-Kapazität, die widerspiegelt, wie viel Last dein Server verträgt, und der Crawl-Nachfrage, die widerspiegelt, wie sehr Google deinen Inhalt tatsächlich crawlen möchte.

Für die meisten kleinen Websites (ein paar hundert Seiten) ist das Crawl-Budget kein Thema; Google crawlt sie problemlos. Wichtig wird es, wenn du hast:

Große Websites mit Zehntausenden oder Millionen URLs (E-Commerce, Kleinanzeigen).
Filter-/Sortierkombinationen, die sich über URL-Parameter vervielfachen (Faceted Navigation).
Langsame Server oder häufige 5xx-Fehler — bei Überlastung senkt Google die Crawl-Rate.

Dein Budget gut einzusetzen heißt, URLs mit geringem Wert aus dem Pfad von Google herauszuhalten und die Crawl-Kraft auf die wirklich wichtigen Seiten zu lenken. Dafür das richtige Werkzeug zu wählen, ist entscheidend.

robots.txt: das Crawling steuern

robots.txt ist eine Klartextdatei im Stammverzeichnis der Website (https://deineseite.com/robots.txt), die Bots empfiehlt, welche Pfade sie nicht crawlen sollen. Es ist keine Zugriffssperre, sondern eine Höflichkeitsregel; wohlerzogene Bots (Googlebot eingeschlossen) halten sich daran. Ein einfaches Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=

Sitemap: https://deineseite.com/sitemap.xml

Der kritischste konzeptionelle Fehler hier ist dieser: Disallow blockiert das Crawling, nicht die Indexierung. Wenn eine Seite viele externe Links erhält, kann Google diese URL trotz der robots.txt-Sperre dennoch indexieren — aber da es den Inhalt nicht lesen kann, erscheint sie mit „Für diese Seite sind keine Informationen verfügbar". Wenn du willst, dass eine Seite aus dem Index bleibt, blockiere nicht das Crawling; lass Google die Seite im Gegenteil crawlen, damit es das noindex-Tag sehen kann.

noindex und Indexierungssteuerung

Um eine Seite aus dem Index zu halten, verwende das meta-Robots-Tag oder einen HTTP-Header. Das Tag, das in den <head> der Seite kommt:

<meta name="robots" content="noindex, follow">

Für Nicht-HTML-Dateien (PDFs, Bilder) erzielst du denselben Effekt mit einem HTTP-Header:

X-Robots-Tag: noindex

Weitere häufig genutzte Werkzeuge in der Indexierungsverwaltung:

Canonical-Tag: <link rel="canonical" href="..."> weist die „primäre" Version unter mehreren ähnlichen URLs aus und bündelt Signale für doppelte Inhalte auf einer einzigen URL.
301-Weiterleitung: leitet dauerhaft verschobene Seiten auf ein einziges Ziel und gibt Linkwert weiter.
XML-Sitemap: eine Liste der kanonischen URLs, die du indexiert haben möchtest; sie beschleunigt die Entdeckung, garantiert aber keine Indexierung.

Sitemaps und interne Verlinkung

Eine XML-Sitemap ist der direkteste Weg, Google zu sagen „diese URLs sind mir wichtig". Sie sollte nur indexierbare, mit Status 200 antwortende, kanonische URLs enthalten; sie darf keine noindex- oder weitergeleiteten Seiten auflisten. Ein einfacher Eintrag sieht so aus:

<url>
  <loc>https://deineseite.com/blog/technisches-seo</loc>
  <lastmod>2026-06-27</lastmod>
</url>

Dennoch ist der wichtigste Weg, auf dem Google URLs entdeckt, die interne Verlinkung. „Verwaiste" Seiten (Orphan Pages), die von keiner Seite einen Link erhalten, werden selten gecrawlt. Gib deinen wichtigen Seiten sinnvolle Links aus der Navigation, dem Inhaltstext und verwandten Beiträgen; so erleichterst du die Entdeckung sowohl für Nutzer als auch für Bots.

Rendering und JavaScript

Moderne Websites erzeugen einen Teil ihrer Inhalte clientseitig mit JavaScript. Google kann das verarbeiten, aber das Rendering ist ein zweistufiger Prozess: Zuerst wird das HTML gecrawlt, dann wird JavaScript in einer Render-Warteschlange ausgeführt. Deine kritischen Inhalte allein dem clientseitigen Rendering zu überlassen, kann die Indexierung verzögern oder dazu führen, dass manche Links nie entdeckt werden. Nutze nach Möglichkeit serverseitiges Rendering (SSR) oder statische Generierung, damit der Inhalt im rohen HTML sichtbar ist.

Überprüfung: Was wird gecrawlt, was wird indexiert?

Miss, statt zu raten. Das Werkzeug URL-Prüfung in der Google Search Console zeigt den Crawl- und Indexierungsstatus einer einzelnen Seite, ihre kanonische Auswahl und das gerenderte HTML. Der Bericht Seiten (Indexierung) listet auf, welche URLs ausgeschlossen sind und warum. Durch die Auswertung deiner Serverlogs siehst du außerdem, welche URLs der Googlebot tatsächlich besucht und wie oft — der präziseste Weg, um Crawl-Budget-Probleme zu diagnostizieren.

Häufige Fragen

Verschwindet eine Seite aus dem Index, wenn ich sie in robots.txt blockiere?

Nein, dafür gibt es keine Garantie. Disallow stoppt nur das Crawling. Eine bereits indexierte URL kann auch nach der Sperre noch eine Weile im Index bleiben. Um eine Seite sicher aus dem Index zu entfernen, erlaube das Crawling und füge ein noindex-Tag hinzu.

Muss ich mir bei einem kleinen Blog Sorgen um das Crawl-Budget machen?

Meistens nicht. Auf einer Website mit ein paar hundert Seiten crawlt Google jede URL mühelos. Das Budget wird erst relevant, wenn deine Seitenzahl in die Zehntausende geht oder sich parametrisierte URLs vervielfachen.

Verbessert eine Sitemap mein Ranking?

Nicht direkt. Eine Sitemap ist eine Entdeckungshilfe, kein Rankingfaktor; sie hilft Google, deine URLs schneller zu finden, ersetzt aber weder Inhaltsqualität noch Links.

Lass uns die Crawl- und Indexierungsgesundheit deiner Website gemeinsam durchgehen. Ich kann deine Search-Console-Daten, deine robots.txt- und Sitemap-Konfiguration prüfen und einen konkreten Verbesserungsplan erstellen. Nimm Kontakt mit mir auf.