Probador de robots.txt
Prueba reglas de rastreo dadas contra una ruta y un rastreador.
Probador de robots.txt
Cómo usar Probador de robots.txt
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Pega la fuente en el editor de entrada o carga el ejemplo integrado.
- Configura la ruta URL para probar y el user agent del rastreador.
- Ejecuta el probador de robots.txt, revisa la salida y usa los controles disponibles para copiar o descargar.
Qué admite esta herramienta
Prueba reglas de rastreo dadas contra una ruta y un rastreador.
- Ruta URL para probar
- Set this value for your task.
- User agent del rastreador
- Set this value for your task.
Límites y procesamiento
Las operaciones de texto aceptan generalmente hasta 2,000,000 caracteres. Los analizadores, generadores y fórmulas individuales aplican límites adicionales que muestran sus controles.
Fuente de ejemplo
User-agent: * Disallow: /private/ Allow: /private/public/
Preguntas frecuentes
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
¿Dónde se procesa mi entrada?
Esta operación procesa su fuente en tu navegador. Copiar y descargar son acciones explícitas; la entrada de origen no se guarda en una cuenta ni en un historial.
¿Cuáles son los límites de entrada?
Las operaciones de texto aceptan generalmente hasta 2,000,000 caracteres. Los analizadores, generadores y fórmulas individuales aplican límites adicionales que muestran sus controles.