Gerador de robots.txt
Crie regras simples de rastreamento para seu site.
Gerador de robots.txt
Como usar Gerador de robots.txt
The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.
- Cole a fonte no editor de entrada ou carregue o exemplo integrado.
- Configure a URL do sitemap e a política de rastreamento.
- Execute o gerador de robots.txt, revise a saída e use os controles disponíveis para copiar ou baixar.
O que esta ferramenta suporta
Crie regras simples de rastreamento para seu site.
- URL do sitemap
- Set this value for your task.
- Política de rastreamento
- Permitir tudo · Negar tudo · Caminhos personalizados negados
Limites e processamento
As operações de texto aceitam geralmente até 2,000,000 caracteres. Analisadores, geradores e fórmulas individuais aplicam limites adicionais mostrados pelos seus controles.
Fonte de exemplo
/private/ /search/
Perguntas frequentes
How do I block a folder in robots.txt?
Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.
Does robots.txt keep pages private or remove them from Google?
No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.
Can I write rules for a specific crawler like Googlebot?
Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.
Onde minha entrada é processada?
Esta operação processa sua fonte no seu navegador. Copiar e baixar são ações explícitas; a entrada de origem não é salva em conta nem em histórico.
Quais são os limites de entrada?
As operações de texto aceitam geralmente até 2,000,000 caracteres. Analisadores, geradores e fórmulas individuais aplicam limites adicionais mostrados pelos seus controles.