Testador de robots.txt
Testa regras de rastreamento fornecidas em relação a um caminho e a um rastreador.
Testador de robots.txt
Como usar Testador de robots.txt
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Cole a fonte no editor de entrada ou carregue o exemplo integrado.
- Defina o caminho do URL a testar e o user agent do rastreador.
- Execute o testador de robots.txt, revise a saída e use os controles disponíveis para copiar ou baixar.
O que esta ferramenta suporta
Testa regras de rastreamento fornecidas em relação a um caminho e a um rastreador.
- Caminho do URL a testar
- Set this value for your task.
- User agent do rastreador
- Set this value for your task.
Limites e processamento
As operações de texto aceitam geralmente até 2,000,000 caracteres. Analisadores, geradores e fórmulas individuais aplicam limites adicionais mostrados pelos seus controles.
Fonte de exemplo
User-agent: * Disallow: /private/ Allow: /private/public/
Perguntas frequentes
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
Onde minha entrada é processada?
Esta operação processa sua fonte no seu navegador. Copiar e baixar são ações explícitas; a entrada de origem não é salva em conta nem em histórico.
Quais são os limites de entrada?
As operações de texto aceitam geralmente até 2,000,000 caracteres. Analisadores, geradores e fórmulas individuais aplicam limites adicionais mostrados pelos seus controles.