# Генератор robots.txt

> Создавайте простые правила для поисковых роботов вашего сайта.

[Open tool](https://www.toolcabana.com/ru/robots-generator) · [Генераторы и маркетинг](https://www.toolcabana.com/ru/category/generators-and-marketing)

Tool ID: robots-generator. Requested language: ru. Description language: ru. Complete guide translation: yes.

## Overview (en)

The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.

## Supported tasks (ru)

Создавайте простые правила для поисковых роботов вашего сайта.

## Steps (ru)

1. Вставьте исходные данные в редактор ввода или загрузите встроенный пример.
2. Укажите URL карты сайта и политику сканирования.
3. Запустите «Генератор robots.txt», просмотрите результат и используйте доступные элементы копирования или скачивания.

## Settings

- URL карты сайта (ru; key: sitemap; type: text)
- Политика сканирования (ru; key: policy; type: select): Разрешить всё [ru], Запретить всё [ru], Свои запрещённые пути [ru]

## Limitations (ru)

Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.

## Example input

```text
/private/
/search/
```

## Privacy and connections (ru)

Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.

## Questions (ru)

### How do I block a folder in robots.txt?

Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.

### Does robots.txt keep pages private or remove them from Google?

No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.

### Can I write rules for a specific crawler like Googlebot?

Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.

### Где обрабатываются мои данные?

Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.

### Каковы ограничения входных данных?

Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.

## Related tools

- [Sitemap generator](https://www.toolcabana.com/ru/sitemap-generator)
- [Invoice generator](https://www.toolcabana.com/ru/invoice-generator)
- [Email mailto generator](https://www.toolcabana.com/ru/mailto-generator)
- [Password generator](https://www.toolcabana.com/ru/password-generator)