Testeur Robots.txt
Teste des règles d'exploration fournies sur un chemin et un robot d'exploration.
Testeur Robots.txt
Comment utiliser Testeur Robots.txt
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Collez la source dans l'éditeur de saisie ou chargez l'exemple intégré.
- Définissez le chemin URL à tester et l'agent utilisateur du robot.
- Lancez le testeur Robots.txt, vérifiez le résultat, puis utilisez les commandes de copie ou de téléchargement disponibles.
Ce que cet outil prend en charge
Teste des règles d'exploration fournies sur un chemin et un robot d'exploration.
- Chemin URL à tester
- Set this value for your task.
- Agent utilisateur du robot
- Set this value for your task.
Limites et traitement
Les opérations sur texte acceptent généralement jusqu'à 2 000 000 caractères. Les analyseurs, générateurs et formules individuels appliquent des limites supplémentaires indiquées par leurs commandes.
Exemple de source
User-agent: * Disallow: /private/ Allow: /private/public/
Questions fréquentes
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
Où ma saisie est-elle traitée ?
Cette opération traite sa source dans votre navigateur. La copie et le téléchargement sont des actions explicites ; la saisie source n'est enregistrée dans aucun compte ni dans l'historique.
Quelles sont les limites de saisie ?
Les opérations sur texte acceptent généralement jusqu'à 2 000 000 caractères. Les analyseurs, générateurs et formules individuels appliquent des limites supplémentaires indiquées par leurs commandes.