User-agent: linkCheck # Datensatz betrifft linkCheck Disallow: /de/prv/ # alle Seiten in /de/prv/ sind gesperrt Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt # Leerzeile beginnt neuen Datensatz User-agent: BadSpider # Datensatz betrifft BadSpider Disallow: / # BadSpider hat Site-Verbot # Leerzeile beginnt neuen Datensatz User-agent: * # letzter Datensatz mit Platzhalter betrifft alle anderen Disallow: /assets/ # alle Seiten in /assets/ sind gesperrt Disallow: /verboten/ # hier darf [ausser linkCheck, sh. oben] niemand rein mand rein