Robots.txt-Tester
Testet angegebene Crawl-Regeln gegen einen Pfad und Crawler.
Robots.txt-Tester
So verwendest du Robots.txt-Tester
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Füge die Quelle in den Eingabe-Editor ein oder lade das integrierte Beispiel.
- Setze den zu testenden URL-Pfad und den Crawler-User-Agent.
- Führe den Robots.txt-Tester aus, prüfe die Ausgabe und verwende dann die verfügbaren Bedienelemente zum Kopieren oder Herunterladen.
Was dieses Tool unterstützt
Testet angegebene Crawl-Regeln gegen einen Pfad und Crawler.
- Zu testender URL-Pfad
- Set this value for your task.
- Crawler-User-Agent
- Set this value for your task.
Grenzen und Verarbeitung
Textvorgänge akzeptieren im Allgemeinen bis zu 2.000.000 Zeichen. Einzelne Parser, Generatoren und Formeln haben zusätzliche Grenzen, die in ihren Bedienelementen angezeigt werden.
Beispielquelle
User-agent: * Disallow: /private/ Allow: /private/public/
Häufige Fragen
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
Wo wird meine Eingabe verarbeitet?
Dieser Vorgang verarbeitet seine Quelle in deinem Browser. Kopieren und Herunterladen sind ausdrückliche Aktionen; die Quelleingabe wird nicht in einem Konto oder Verlauf gespeichert.
Welche Eingabelimits gelten?
Textvorgänge akzeptieren im Allgemeinen bis zu 2.000.000 Zeichen. Einzelne Parser, Generatoren und Formeln haben zusätzliche Grenzen, die in ihren Bedienelementen angezeigt werden.