Генератор robots.txt
Создавайте простые правила для поисковых роботов вашего сайта.
Генератор robots.txt
Как использовать Генератор robots.txt
The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.
- Вставьте исходные данные в редактор ввода или загрузите встроенный пример.
- Укажите URL карты сайта и политику сканирования.
- Запустите «Генератор robots.txt», просмотрите результат и используйте доступные элементы копирования или скачивания.
Что поддерживает этот инструмент
Создавайте простые правила для поисковых роботов вашего сайта.
- URL карты сайта
- Set this value for your task.
- Политика сканирования
- Разрешить всё · Запретить всё · Свои запрещённые пути
Ограничения и обработка
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.
Пример исходных данных
/private/ /search/
Частые вопросы
How do I block a folder in robots.txt?
Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.
Does robots.txt keep pages private or remove them from Google?
No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.
Can I write rules for a specific crawler like Googlebot?
Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.
Где обрабатываются мои данные?
Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.
Каковы ограничения входных данных?
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.