# Robots.txt-Generator

> Erstelle einfache Crawler-Regeln für deine Website.

[Open tool](https://www.toolcabana.com/de/robots-generator) · [Generatoren und Marketing](https://www.toolcabana.com/de/category/generators-and-marketing)

Tool ID: robots-generator. Requested language: de. Description language: de. Complete guide translation: yes.

## Overview (en)

The robots.txt generator writes a crawler rules file for all user agents using one of three policies: allow all, disallow all, or disallow a custom list of paths entered one per line. You can add a Sitemap line with an absolute URL. Each custom path must start with a slash, and the result downloads as a plain text file.

## Supported tasks (de)

Erstelle einfache Crawler-Regeln für deine Website.

## Steps (de)

1. Füge die Quelle in den Eingabe-Editor ein oder lade das integrierte Beispiel.
2. Lege Sitemap-URL und Crawling-Richtlinie fest.
3. Führe den Robots.txt-Generator aus, prüfe die Ausgabe und verwende dann die verfügbaren Bedienelemente zum Kopieren oder Herunterladen.

## Settings

- Sitemap-URL (de; key: sitemap; type: text)
- Crawling-Richtlinie (de; key: policy; type: select): Alle erlauben [de], Alle sperren [de], Benutzerdefinierte gesperrte Pfade [de]

## Limitations (de)

Textvorgänge akzeptieren im Allgemeinen bis zu 2.000.000 Zeichen. Einzelne Parser, Generatoren und Formeln haben zusätzliche Grenzen, die in ihren Bedienelementen angezeigt werden.

## Example input

```text
/private/
/search/
```

## Privacy and connections (de)

Dieser Vorgang verarbeitet seine Quelle in deinem Browser. Kopieren und Herunterladen sind ausdrückliche Aktionen; die Quelleingabe wird nicht in einem Konto oder Verlauf gespeichert.

## Questions (de)

### How do I block a folder in robots.txt?

Choose Custom disallow paths and enter each folder on its own line starting with a slash, such as /private/. Each line becomes a Disallow rule under User-agent: *. Paths that do not begin with a slash are rejected.

### Does robots.txt keep pages private or remove them from Google?

No. robots.txt controls crawling, not confidentiality or guaranteed deindexing. Anyone can still open a disallowed URL, so protect private content with access controls such as passwords or authentication.

### Can I write rules for a specific crawler like Googlebot?

Not with this generator. It always writes a single User-agent: * group that applies to every crawler. To target a specific bot, edit the downloaded file and add a separate User-agent group for it.

### Wo wird meine Eingabe verarbeitet?

Dieser Vorgang verarbeitet seine Quelle in deinem Browser. Kopieren und Herunterladen sind ausdrückliche Aktionen; die Quelleingabe wird nicht in einem Konto oder Verlauf gespeichert.

### Welche Eingabelimits gelten?

Textvorgänge akzeptieren im Allgemeinen bis zu 2.000.000 Zeichen. Einzelne Parser, Generatoren und Formeln haben zusätzliche Grenzen, die in ihren Bedienelementen angezeigt werden.

## Related tools

- [Sitemap generator](https://www.toolcabana.com/de/sitemap-generator)
- [Invoice generator](https://www.toolcabana.com/de/invoice-generator)
- [Email mailto generator](https://www.toolcabana.com/de/mailto-generator)
- [Password generator](https://www.toolcabana.com/de/password-generator)