Crawlen und Indexieren
Crawlen ist das Besuchen und Lesen Ihrer Webseiten durch Suchmaschinen. Indexieren ist das Speichern dieser Seiten in der Datenbank der Suchmaschine, damit sie in den Suchergebnissen erscheinen können.
- 3 Min. Lesezeit
Was ist Crawlen und Indexieren?
Suchmaschinen nutzen Programme, die das Web durchlaufen, sogenannte Crawler oder Bots. Der Crawler von Google heißt Googlebot. Er folgt Links von Seite zu Seite, liest Inhalt und Code und nimmt neue oder geänderte Seiten auf. Das nennt man Crawlen.
Nach dem Crawlen entscheidet Google, ob eine Seite in den Index aufgenommen wird, die riesige Datenbank, aus der die Suchergebnisse zusammengestellt werden. Das nennt man Indexieren. Nur eine indexierte Seite kann in Google erscheinen.
Crawlen bedeutet also nicht automatisch Indexieren. Google kann eine Seite lesen und sich trotzdem gegen die Aufnahme entscheiden, zum Beispiel weil der Inhalt dünn ist oder als Kopie gilt. Auch KI-Systeme haben eigene Crawler, etwa GPTBot, PerplexityBot und den Crawler von Anthropic. Mehr dazu lesen Sie unter llms.txt.
Warum es für Ihr Unternehmen wichtig ist
Eine Seite, die nicht indexiert ist, existiert für Google nicht. Sie können die beste Seite über Dachsanierung in Ihrer Region haben, aber wenn sie nicht im Index steht, bringt sie über Suchmaschinen keine einzige Anfrage.
Das klingt wie eine Ausnahme, kommt aber oft vor. Nach einer neuen Website, einem Umzug auf eine andere Domain oder einem Plugin-Update stehen regelmäßig Seiten unbeabsichtigt auf noindex oder sind gesperrt. Ohne Kontrolle bemerken Sie das erst, wenn die Anfragen zurückgehen.
Dasselbe gilt für die KI-Suche. Wenn Ihre robots.txt KI-Crawler ausschließt, können Sie auch nicht in deren Antworten genannt werden.
So funktioniert es
Google findet Ihre Seiten auf drei Wegen: über Links von anderen Websites, über Links innerhalb Ihrer eigenen Website und über Ihre XML-Sitemap, eine Liste aller Seiten, die Sie indexiert haben möchten. Die Datei robots.txt bestimmt, welche Teile Ihrer Website Crawler besuchen dürfen. Mit einem noindex-Tag auf einer Seite sagen Sie, dass sie nicht in den Index gehört.
Danach beurteilt Google die Seite. Ist der Inhalt brauchbar? Ist sie keine Kopie einer anderen Seite? Verweist die Canonical-URL auf sich selbst? Ist die Seite technisch erreichbar und schnell genug?
Ein Beispiel. Angenommen, ein Installationsbetrieb lässt eine neue Website in einer Testumgebung bauen. Während des Baus ist in WordPress die Option aktiviert, die Suchmaschinen bittet, die Website nicht zu indexieren. Beim Livegang wird diese Option vergessen. Außerdem wurden die alten Adressen nicht auf die neuen weitergeleitet. Einige Wochen später ist die Zahl der Anfragen über Google deutlich gesunken. In der Search Console zeigt sich, dass fast alle Seiten auf noindex stehen und die alten Adressen einen Fehler melden.
Nachdem das noindex entfernt, Weiterleitungen von alt auf neu eingerichtet und die Sitemap eingereicht wurden, werden die Seiten erneut gecrawlt und indexiert. Die Erholung kostet Zeit, die sich mit einer Prüfung beim Livegang hätte vermeiden lassen.
Häufige Fehler
Der bekannteste Fehler ist ein vergessenes noindex nach dem Livegang, wie im Beispiel. Es ist ein einziges Häkchen, aber die Wirkung ist groß.
Ein zweiter Fehler ist eine robots.txt, die zu viel blockiert. Manchmal sperrt eine Regel versehentlich die ganze Website oder gerade die Ordner mit Bildern und Skripten, die Google braucht, um die Seite richtig zu lesen.
Ebenfalls häufig: Seiten, auf die kein einziger interner Link verweist. Solche verwaisten Seiten werden schlecht gefunden. Und eine Sitemap, die alte, weitergeleitete oder nicht existierende Adressen enthält, sendet Google falsche Signale.
Schließlich erwarten viele Unternehmer, dass eine neue Seite sofort in Google steht. Die Indexierung kann Tage bis Wochen dauern, vor allem bei einer neuen oder kleinen Website. Immer wieder die Indexierung zu beantragen, beschleunigt das nicht. Besser ist es, dafür zu sorgen, dass die Seite gut verlinkt ist und wirklich etwas beiträgt.
So gehen Sie vor
Verbinden Sie Ihre Website mit der Google Search Console. Im Bericht zur Indexierung sehen Sie, welche Seiten aufgenommen wurden und welche nicht, jeweils mit dem Grund. Prüfen Sie das nach jeder größeren Änderung.
Reichen Sie Ihre XML-Sitemap über die Search Console ein und achten Sie darauf, dass dort nur Seiten stehen, die Sie wirklich indexiert haben möchten. Nutzen Sie die Funktion URL-Prüfung, um eine neue oder wichtige Seite zu testen und die Indexierung zu beantragen.
Prüfen Sie Ihre robots.txt. Blockieren Sie keine wichtigen Teile und entscheiden Sie bewusst, ob Sie KI-Crawler zulassen. Für die meisten Handwerksbetriebe ist Zulassen sinnvoll, weil Sie dann in KI-Antworten erscheinen können.
Sorgen Sie dafür, dass jede wichtige Seite über interne Links erreichbar ist. Zu einer neuen Website gehören immer ein Weiterleitungsplan und eine noindex-Prüfung beim Livegang. Das ist fester Bestandteil von technischem SEO.
Häufig gestellte Fragen
Ihre Frage ist nicht dabei? Rufen Sie an, schreiben Sie per WhatsApp oder mailen Sie uns. Sie erhalten innerhalb eines Werktags eine Antwort.
Woher weiß ich, ob meine Seite in Google steht?
Am zuverlässigsten ist die Google Search Console. Mit der URL-Prüfung sehen Sie pro Seite, ob sie indexiert ist, und wenn nicht, warum. Schnell prüfen können Sie auch, indem Sie in Google nach site: gefolgt von der Adresse der Seite suchen.
Wie lange dauert es, bis eine neue Seite indexiert ist?
Das schwankt zwischen einigen Tagen und mehreren Wochen. Eine Website, die oft aktualisiert wird und gut verlinkt ist, wird schneller gecrawlt. Sie können es beschleunigen, indem Sie die Seite in Ihre Sitemap aufnehmen und in der Search Console die Indexierung beantragen.
Soll ich KI-Crawler auf meiner Website zulassen?
Für die meisten Handwerksbetriebe ist das sinnvoll. Wenn Sie Crawler wie GPTBot, PerplexityBot oder den Crawler von Anthropic blockieren, können KI-Assistenten Ihre Inhalte nicht lesen und Sie in ihren Antworten schlechter nennen. Prüfen Sie in Ihrer robots.txt, dass dort keine Sperre steht, die Sie nicht bewusst gewählt haben.
Mehr zu diesem Thema
Was ist Google Ads und wie funktioniert es?
Google Ads erklärt: wie das Auktionssystem funktioniert, welche Kampagnentypen es gibt und wie Sie bestimmen, was ein Klick Sie kosten darf …
Lokale SEO: mehr aus Ihrer lokalen Auffindbarkeit holen
Lokale SEO sorgt dafür, dass Kunden in Ihrer Nähe Sie bei Google und Google Maps finden.
Was macht eine Marketingagentur?
Was macht eine Marketingagentur genau und wann brauchen Sie eine?
Bereit für mehr Anfragen?
Wählen Sie, wo Ihr Wachstum liegen soll. Ein Spezialist übernimmt es innerhalb eines Werktags.
Kennenlerngespräch mit Niels vereinbaren oder rufen Sie an 026 234 0020
Marketingkennersonline · Antwort innerhalb eines Werktags