Eine Robots.txt-Datei ermöglicht das Ausschließen bestimmter Webseiten aus den Suchergebnissen. Crawler ignorieren die Seiten und nehmen sie nicht in den Index der Website auf.
Da einige Crawler die Robots.txt-Datei ignorieren, ist der Passwortschutz die beste Möglichkeit, eine Webseite zu verbergen.
