Crawler

Das Wort Crawler stellt im Grunde genommen nur eine andere Bezeichnung für Spider oder Robot dar. Dabei handelt es sich um kleine Programme der Suchmaschinen. Diese sollen das Internet nach neuen Informationen durchsuchen. Für diese Suche werden bestimmte Suchbegriffe eingegeben. Anhand dieser Begriffe werden nun alle die Seiten registriert, die den Suchbegriff enthalten. Schaut man sich die Arbeitsweise der Crawler näher an, erkennt man schnell, dass diese für die Qualität einer Suchmaschine von enormer Bedeutung sind.
Allerdings setzen auch Suchmaschinen zum Teil fehlerhafte Crawler ein. Diese können dann die http Protokolle nicht richtig lesen oder haben in einigen Fällen Schwierigkeiten mit der richtigen Bearbeitung der URLs. Dies kommt z. B. häufig vor, wenn statt dem absoluten ein relativer Datei- oder Pfadname eingesetzt wird. Einige Crawler können auch in eine so genannte Endlos Schleife geraten. Dies ist einst dem Lycos-Spider geschehen, der die Suche von Fireball gefunden hatte. Anstatt nun weiterhin bei Lycos zu suchen, begann der Crawler nun, die Fireball Live Suche aufzurufen.

Weitere Begriffe

Cache // Captcha-Codes // CGI // Chat // Checkbox // Chmod // Class-C IP // Client // Cloaking // Content Syndication // Cookie // CPC (Cost per Click) // Crack // Crawler // Cross Linking // CSS // CSS-Verschlüsselung // CTR (Click Through Rate) // Cursor //