Kleines Icon für die Kontaktaufnahme per Telefon-Anruf. +49 1575 239 8550 — Unverbindlich anrufen!
Das Bild zeigt das offizielle Logo der Webdesign Agentur Rosenheim.
Webdesign-Agentur-Rosenheim.de

Was ist ein Crawler?

Pfeil nach unten zum Inhalt der Seite

Der Crawler einfach und verständlich erklärt.




Eine kurze Begriffserklärung (Definition)

Ein Crawler, auch genannt Webcrawler, Spider oder Bot, durchforstet das Internet. Genauer gesagt handelt es sich hier um ein Computerprogramm.
Der Crawler besucht Webseiten, speichert diese im Cache ab und indexiert diese in Suchmaschinen wie Google, Bing oder Yahoo.

Icon zeigt wie der Crawler eine Webseite durchsucht




Wie kommt der Crawler auf Ihre Webseite?

Sie können in der Search Console von Google Ihre Webseiten-URL eingeben und den Crawler darauf aufmerksam machen.
Wenn er einmal auf Ihrer Seite war, wird er diese regelmäßig abrufen und abgleichen. Ändert sich inhaltlich etwas, dauert es nicht lange und die neue Version der Seite ist in den Suchmaschinen sichtbar.




Welche Seiten werden durch den Crawler indexiert und in den Suchergebnissen dargestellt?

Grundsätzlich werden alle Seiten indexiert, die der Crawler findet. Dies kann man jedoch beeinflussen.

Update August 2019: Google unterstützt Noindex in der Robots.txt nicht mehr.
Der nachstehende, kursive Text, ist deshalb nicht mehr aktuell.
Über die robots.txt Datei kann festgelegt werden, welche Seiten für den Crawler relevant sind und welche nicht.


Möchten Sie eine einzelne Seite vom Index ausschließen, können Sie dass durch den noindex Meta Tag im Head Bereich Ihrer Seite veranlassen.




Fanden Sie unsere Begriffserklärung (Definition) zum Crawler hilfreich?

Gerne freuen wir uns über Ihr Feedback.
Sollte Ihnen noch etwas unklar sein, können Sie uns jederzeit per Telefon oder E-Mail kontaktieren.
Unsere Spezialisten nehmen sich gerne dafür Zeit.




Unsere Kunden sind sehr zufrieden mit uns:

Wir werden mit 5 von 5 Sternen bewertet
Ein Icon zeigt den ersten von 5 gelben Sternen.Ein Icon zeigt den zweiten von 5 gelben Sternen.Ein Icon zeigt den dritten von 5 gelben Sternen.Ein Icon zeigt den vierten von 5 gelben Sternen.Ein Icon zeigt den fünften von 5 gelben Sternen.
Agenturbewertung bei Google





Wir sind bekannt aus t3n:

Wir sind bekannt aus t3n