Generatore di robots.txt
Crea regole semplici per i crawler del tuo sito web.
Generatore di robots.txt
Come usare Generatore di robots.txt
The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.
- Incolla l'origine nell'editor di input, oppure carica l'esempio integrato.
- Imposta l'URL della sitemap e i criteri di scansione.
- Esegui il generatore di robots.txt, esamina il risultato, poi usa i controlli disponibili per copiare o scaricare.
Cosa supporta questo strumento
Crea regole semplici per i crawler del tuo sito web.
- URL della sitemap
- Set this value for your task.
- Criteri di scansione
- Consenti tutto · Blocca tutto · Percorsi di blocco personalizzati
Limiti ed elaborazione
Le operazioni di testo accettano in genere fino a 2.000.000 di caratteri. Parser, generatori e formule singoli applicano limiti aggiuntivi mostrati dai relativi controlli.
Origine di esempio
/private/ /search/
Domande frequenti
How do I block a folder in robots.txt?
Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.
Does robots.txt keep pages private or remove them from Google?
No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.
Can I write rules for a specific crawler like Googlebot?
Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.
Dove viene elaborato il mio input?
Questa operazione elabora i dati di origine nel tuo browser. Copia e download sono azioni esplicite; l'input di origine non viene salvato in un account né in una cronologia.
Quali sono i limiti di input?
Le operazioni di testo accettano in genere fino a 2.000.000 di caratteri. Parser, generatori e formule singoli applicano limiti aggiuntivi mostrati dai relativi controlli.