01/04/2013 à 13:06
Crawler/Spider sind Programme der Suchmaschinen, die das Web durchsuchen und Ergebnisse entsprechend anzeigen.
Webmaster haben die Möglichkeit mittels bestimmten Textzeilen in sogenannten Robots, bestimmte Suchmaschinen auszuschließen.
Wer darf und wer darf nicht auf den Inhalt und Bilder der Homepage zugreifen.
Personensuchmaschinen haben keinen Crawler ...