Тест robots.txt
Проверяет указанные правила обхода для пути и сканера.
Тест robots.txt
Как использовать Тест robots.txt
The robots.txt tester checks pasted robots.txt rules against a URL path and crawler user agent, then reports whether crawling is allowed and which rule matched. It picks the most specific matching user-agent group, supports * wildcards and $ end anchors, and applies the longest matching path, with Allow winning ties. It does not fetch the live file.
- Вставьте исходные данные в редактор ввода или загрузите встроенный пример.
- Задайте проверяемый путь URL и user agent сканера.
- Запустите «Тест robots.txt», просмотрите результат и используйте доступные элементы копирования или скачивания.
Что поддерживает этот инструмент
Проверяет указанные правила обхода для пути и сканера.
- Путь URL для проверки
- Set this value for your task.
- User agent сканера
- Set this value for your task.
Ограничения и обработка
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.
Пример исходных данных
User-agent: * Disallow: /private/ Allow: /private/public/
Частые вопросы
How does the robots.txt tester decide between Allow and Disallow?
Within the chosen user-agent group, the longest matching path wins, with asterisks ignored when measuring length. If an Allow and a Disallow rule match with equal length, Allow takes precedence. With no matching rule, the path is allowed.
Can it test my live robots.txt file?
No. It only tests the text you paste and does not download anything from your site. Copy your current robots.txt file into the input, then enter the path and user agent you want to check.
Does an allowed result mean my page will be indexed?
No. The result only says whether the supplied rules permit crawling that path. It does not determine whether a URL is indexed, and robots.txt is not an access-control mechanism for private pages.
Где обрабатываются мои данные?
Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.
Каковы ограничения входных данных?
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.