Robots.txt-Definition


Eine Robots.txt-Datei ermöglicht das Ausschließen bestimmter Webseiten aus den Suchergebnissen. Crawler ignorieren die Seiten und nehmen sie nicht in den Index der Website auf.

Da einige Crawler die Robots.txt-Datei ignorieren, ist der Passwortschutz die beste Möglichkeit, eine Webseite zu verbergen.