robots.txt Hinweise

Der Qualidator respektiert die Anweisungen der robots.txt-Datei.
Der Inhalt könnte etwa wie folgt aussehen:

User-agent: *
Disallow: /verzeichnis1
Disallow: /verzeichnis2

User-agent: QualidatorSiteAnalyzer
Disallow: /verzeichnis3
Allow: /verzeichnis1

User-agent: QualidatorWebSiteAnalyzer
Disallow: /verzeichnis3
Allow: /verzeichnis1

User-agent: QualidatorBot
Allow: /verzeichnis1
Allow: /verzeichnis2

Erklärung

Grundsätzlich sollen Bots verzeichnis1 und 2 ausschliessen.

Der QualidatorSiteAnalyzer resp. der QualidatorWebSiteAnalyzer(Vorgängerversion) soll verzeichnis3 ausschliessen, jedoch verzeichnis1 einschliessen.

Der QualidatorBot, der insbesondere beim MyRating zum Einsatz kommt, darf im Gegensatz zu anderen Bots verzeichnis1 und 2 mit einschliessen.

Aufführen in Statistiken verhindern

Als registrierter Benutzer können Sie bestimmen, ob eine Website aufgeführt wird oder nicht. Die entsprechende Funktion finden Sie auf der Testresultatseite etwas weiter unten. Ebenfalls werden die Meta Robots Tags berücksichtigt. Folgende Zeile etwa bewirkt, dass eine Website gar nie in den Statistiken angezeigt wird:

<meta name="Robots" content="noindex, nofollow" />