User-agent: * Disallow: # Website bittounbittoun.com # Alle Roboter/Spider sind eingeladen. # Das * steht für alle # Um alle auszuschliessen einfach in der zweiten Zeile einen Querstrich einfügen. # Momentan ist kein Verzeichnis ist gesperrt. # Sperren von Verzeichnisse erfolgt mit "Disallow: /cgi-local/" # Für jedes zu sperrende Verzeichnis bedarf es dazu eine eigene Zeile. # es können auch einzelne Dateien gesperrt werden mit "/verboten.html" # Einzelne Spider können auch eingeladen oder ausgeschlossen werden. User-agent: * Disallow: /logs/