Was sind Spider + Robots?

Spider und Robots sind "Suchautomaten", die nach festen Vorgaben der jeweiligen Suchmaschinen-Betreiber im WWW unterwegs sind, um Seiten zu indizieren, d.h. um sie zu erfassen und auszuwerten. 

Bei Google ist dies z.B. der Googlebot; den monatlichen Erfassungslauf dieses Robots bezeichnete man bis zu seiner Abschaffung als "Googledance".

Seit Anfang 2004 wurde die Einberechnung der Ranking-Kriterien zum Teil auf fortlaufend umgestellt, zum Teil auf größere Abstände ausgedehnt.

Der Abstand zwischen den beiden letzten Pagerank-Updates betrug mehr als 100 Tage, ob dies in Zukunft ein reglmäßiger Rhytmus wird, ist momentan noch offen.

Google schickt mittlerweile verschiedene Arten von Bots zur Erfassung bestehender und neuer Webseiten los um z.B. das Cloaking und andere Spam-Maßnahmen zu erschweren. Einige dieser Bots tarnen sich als normale Browser, andere wiederum können Dateien auswerten, die der "normale" Googlebot nicht auswerten kann.

Die URL´s der Webseiten werden entweder direkt bei Suchmaschinen angemeldet oder der jeweilige Spider/Robot erkennt selbstständig auf ihre Seiten von aussen gesetzten Links (Backlinks) von bereits im Google-Index erfassten URL´s und sucht daraufhin auch ihre neuen Seiten auf.

Neue Webseiten erscheinen z.B. meistens schnell bei Google, meist jedoch nur mit Titel + Description in der Suchergebnisliste. Die Ursache liegt darin, dass neue Seiten zunächst nur im Rahmen von "Fresh Crawls" erfasst werden. Fresh Crawls führen nur zu einer "provisorischen" Erfassung und kurzem Erscheinen von Seiten im Index.

Auch der als "Fresh Crawl" bezeichnete Effekt existiert nur noch bedingt (ich konnte vergleichbares noch bei neuen Subdomains sog. "Expertenseiten" beobachten) an dessen Stelle ist der sog. "Sandbox"-Effekt getreten, welcher i.d.R. alle neuen Seiten zwischen 2 und 4 Monaten zu betreffen scheint. Diese werden wie bei einer Art Bewährungsprobe zuerst in den Sandkasten gesteckt, bevor sie "zu den Großen" in die Top-Positionen gelassen werden.

Neue Webseiten werden anscheinend erst nach einem "Deep Crawl", der anschließenden Erfasuung der Backlinks und dem darauf folgenden Pagerank- und Index-Update endgültig positioniert.

Suchmaschinen Marketing by Profi-Ranking.de