Generador de robots.txt
Crea reglas simples de rastreo para tu sitio web.
Generador de robots.txt
Cómo usar Generador de robots.txt
The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.
- Pega la fuente en el editor de entrada o carga el ejemplo integrado.
- Configura la URL del sitemap y la política de rastreo.
- Ejecuta el generador de robots.txt, revisa la salida y usa los controles disponibles para copiar o descargar.
Qué admite esta herramienta
Crea reglas simples de rastreo para tu sitio web.
- URL del sitemap
- Set this value for your task.
- Política de rastreo
- Permitir todo · Denegar todo · Rutas personalizadas denegadas
Límites y procesamiento
Las operaciones de texto aceptan generalmente hasta 2,000,000 caracteres. Los analizadores, generadores y fórmulas individuales aplican límites adicionales que muestran sus controles.
Fuente de ejemplo
/private/ /search/
Preguntas frecuentes
How do I block a folder in robots.txt?
Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.
Does robots.txt keep pages private or remove them from Google?
No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.
Can I write rules for a specific crawler like Googlebot?
Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.
¿Dónde se procesa mi entrada?
Esta operación procesa su fuente en tu navegador. Copiar y descargar son acciones explícitas; la entrada de origen no se guarda en una cuenta ni en un historial.
¿Cuáles son los límites de entrada?
Las operaciones de texto aceptan generalmente hasta 2,000,000 caracteres. Los analizadores, generadores y fórmulas individuales aplican límites adicionales que muestran sus controles.