Robots.txt
Die robots.txt Datei dient dazu,Suchmaschinen-Robots Anweisung für ihr Suchverhalten zu geben.Die robots.txt ist eine reine Textdatei.Die Die robots.txt ist nur sinnvoll für eine echte Domain und nicht für free Webspace.
Die robots.txt muß auf dem Rootverzeichnis des Webspace liegen.
Es ist auch möglich,die gesamte Webseite oder auch Verzeichnisse vor Suchmaschinen zu schützen.
Die robots.txt Datei dient dazu,Suchmaschinen-Robots Anweisung für ihr Suchverhalten zu geben.Die robots.txt ist eine reine Textdatei.Die Die robots.txt ist nur sinnvoll für eine echte Domain und nicht für free Webspace.
Die robots.txt muß auf dem Rootverzeichnis des Webspace liegen.
Es ist auch möglich,die gesamte Webseite oder auch Verzeichnisse vor Suchmaschinen zu schützen.
Suchmaschinen dürfen die gesamte Webseite durchsuchen |
| Suchmaschinen dürfen bis auf das logs.Verzeichnis
alles durchsuchen |