Tester robots.txt
Verifica le regole di scansione fornite rispetto a un percorso e a un crawler.
Tester robots.txt
Come usare Tester robots.txt
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Incolla l'origine nell'editor di input, oppure carica l'esempio integrato.
- Imposta il percorso URL da testare e lo user agent del crawler.
- Esegui il tester robots.txt, esamina il risultato, poi usa i controlli disponibili per copiare o scaricare.
Cosa supporta questo strumento
Verifica le regole di scansione fornite rispetto a un percorso e a un crawler.
- Percorso URL da testare
- Set this value for your task.
- User agent del crawler
- Set this value for your task.
Limiti ed elaborazione
Le operazioni di testo accettano in genere fino a 2.000.000 di caratteri. Parser, generatori e formule singoli applicano limiti aggiuntivi mostrati dai relativi controlli.
Origine di esempio
User-agent: * Disallow: /private/ Allow: /private/public/
Domande frequenti
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
Dove viene elaborato il mio input?
Questa operazione elabora i dati di origine nel tuo browser. Copia e download sono azioni esplicite; l'input di origine non viene salvato in un account né in una cronologia.
Quali sono i limiti di input?
Le operazioni di testo accettano in genere fino a 2.000.000 di caratteri. Parser, generatori e formule singoli applicano limiti aggiuntivi mostrati dai relativi controlli.