LP In weniger als 30min zur perfekten „robots.txt“

Was ist eine robots.txt? Deine Hausordnung für Bots & Crawler!

Sie ist die erste Datei, die ein Suchmaschinen-Crawler auf deiner Seite sucht. Sie gibt klare Anweisungen, welche Bereiche besucht werden dürfen und welche privat bleiben sollen.

🤖

1. Der Bot kommt

→

📄

2. Sucht /robots.txt

→

🧐

3. Liest die Regeln

→

🌐

4. Besucht die Seite

Warum sie für dich so wertvoll ist

🛡️

Privatsphäre & Ordnung

Schütze private Bereiche wie den Admin-Login oder unfertige Seiten vor neugierigen Blicken.

💰

Fokus & Effizienz

Lenke die knappe Zeit der Crawler (Crawl-Budget) auf deine wichtigsten Inhalte und spare Ressourcen.

📋

Keine Duplikate

Verhindere, dass technische URL-Varianten (z.B. mit Filtern) als doppelter Inhalt gewertet werden.

Ein etablierter Standard

Die `robots.txt` ist kein Nischenthema. Fast jede professionelle Website nutzt sie zur Steuerung der Crawler. Du bist also in bester Gesellschaft.

In 4 Schritten zur eigenen Datei

1
Werkzeug wählen

Ein einfacher Texteditor (Notepad, TextEdit) genügt. Keine Textverarbeitung wie Word!
2
Korrekt benennen

Die Datei muss exakt `robots.txt` heißen (alles klein geschrieben).
3
Kodierung: UTF-8

Speichere die Datei im universellen UTF-8-Format, um Zeichenfehler zu vermeiden.
4
Am richtigen Ort ablegen

Lade sie in das Hauptverzeichnis (Root) deiner Domain hoch (z.B. per FTP).

Die Sprache der Roboter: 4 wichtige Befehle

User-agent:

Legt fest, für welchen Bot die Regel gilt. `*` bedeutet "für alle".

Disallow:

Verbietet den Zugriff auf einen Pfad. `Disallow: /privat/`

Allow:

Erlaubt den Zugriff als Ausnahme zu einer `Disallow`-Regel.

Sitemap:

Zeigt den direkten Weg zum Inhaltsverzeichnis deiner Website.

Praxisbeispiele: Gängige Konfigurationen

Offene Tür (Alles erlauben)

User-agent: *
Disallow: 
Sitemap: https://domain.de/sitemap.xml

WordPress Standard

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://domain.de/sitemap.xml

Baustelle (Alles sperren)

User-agent: *
Disallow: /

Dateitypen ausschließen

User-agent: *
Disallow: /*.pdf$
Sitemap: https://domain.de/sitemap.xml

Der wichtigste Unterschied: `Disallow` vs. `noindex`

robots.txt: Disallow

🚫

"Bitte nicht betreten!"

Verbietet das Crawlen (Lesen) der Seite. Die URL kann aber unter Umständen trotzdem im Index landen (ohne Beschreibung).

Meta-Tag: noindex

🗑️

"Bitte nicht anzeigen!"

Erlaubt das Crawlen, aber verbietet die Aufnahme in die Suchergebnisse. Dies ist der sichere Weg, um Inhalte aus Google fernzuhalten.

In weniger als 30min
zur perfekten "robots.txt"!