Générateur de robots.txt
Créez des règles simples pour les robots d'exploration de votre site.
Générateur de robots.txt
Comment utiliser Générateur de robots.txt
The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.
- Collez la source dans l'éditeur de saisie ou chargez l'exemple intégré.
- Définissez l'URL du sitemap et la politique d'exploration.
- Lancez le générateur de robots.txt, vérifiez le résultat, puis utilisez les commandes de copie ou de téléchargement disponibles.
Ce que cet outil prend en charge
Créez des règles simples pour les robots d'exploration de votre site.
- URL du sitemap
- Set this value for your task.
- Politique d'exploration
- Tout autoriser · Tout interdire · Chemins d'interdiction personnalisés
Limites et traitement
Les opérations sur texte acceptent généralement jusqu'à 2 000 000 caractères. Les analyseurs, générateurs et formules individuels appliquent des limites supplémentaires indiquées par leurs contrôles.
Exemple de source
/private/ /search/
Questions fréquentes
How do I block a folder in robots.txt?
Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.
Does robots.txt keep pages private or remove them from Google?
No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.
Can I write rules for a specific crawler like Googlebot?
Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.
Où ma saisie est-elle traitée ?
Cette opération traite sa source dans votre navigateur. La copie et le téléchargement sont des actions explicites ; la saisie source n'est enregistrée ni dans un compte ni dans l'historique.
Quelles sont les limites de saisie ?
Les opérations sur texte acceptent généralement jusqu'à 2 000 000 caractères. Les analyseurs, générateurs et formules individuels appliquent des limites supplémentaires indiquées par leurs contrôles.