Wie prüfe ich, ob Google und KI-Assistenten meine Seiten lesen können?
Auf dieser Seite
Nutzen Sie die Prüfung des Crawler-Zugriffs unter Website-Check, Übersicht. Geben Sie Ihre Adresse oder die vollständige Adresse einer Seite ein und klicken Sie auf Prüfen. Für jeden Crawler, also die Software, mit der Suchmaschinen und KI-Assistenten Websites lesen, sehen Sie, ob diese Seite erlaubt oder gesperrt ist und welche Zeile Ihrer robots.txt-Datei das entscheidet. Eine einzige verirrte Regel kann Sie still und leise aus Google entfernen, ohne dass irgendetwas kaputt aussieht.
Das Bild zeigt die englische Ansicht. Übersetzte Bilder folgen in Kürze.
Die Prüfung starten
- Öffnen Sie Website-Check und dann Übersicht. Die Prüfung steht unter den Bereichskarten und funktioniert schon vor Ihrem ersten Scan.
- Ihre Adresse ist bereits eingetragen. Um eine bestimmte Seite zu testen, fügen Sie stattdessen deren vollständige Adresse ein.
- Klicken Sie auf Prüfen.
Ohne vollständige Seitenadresse gelten die Ergebnisse für Ihre Startseite, und die Prüfung weist darauf hin.
Die Ergebnisse lesen
Die Crawler sind danach gruppiert, was es Sie kostet, sie zu sperren:
| Gruppe | Crawler | Wenn Sie sie sperren |
|---|---|---|
| Suchmaschinen | Google-Suche, Bing-Suche | Sie verschwinden aus deren Ergebnissen. Bing liefert außerdem die Suche von ChatGPT. |
| KI-Antworten | ChatGPT-Suche, Perplexity, Claude-Suche | Sie verlieren Erwähnungen und Links in den Antworten von KI-Assistenten. |
| KI-Training | Google-KI-Training, OpenAI-Training, Anthropic-Training, Common Crawl | Ihre Inhalte werden nicht zum Training von KI-Modellen genutzt. Ihre Rankings in der Suche ändern sich dadurch nicht. |
Jede Zeile zeigt ERLAUBT oder BLOCKIERT und den Grund: die robots.txt-Regel, die gegriffen hat, oder dass keine Regel zutraf. KI-Training zu sperren und gleichzeitig für die Suche und KI-Antworten offen zu bleiben, ist eine sinnvolle Entscheidung, die viele Unternehmen treffen, und die Gruppierung macht das leicht sichtbar.
Ist etwas Wichtiges gesperrt, setzt Die robots.txt-Datei korrigieren die Änderung auf Ihre To-do-Liste: Entfernen Sie die genannte Zeile oder schränken Sie sie ein, und führen Sie die Prüfung dann erneut aus.
robots.txt-Datei anzeigen zeigt die Datei selbst darunter an. Gibt es keine, meldet die Prüfung Auf dieser Website wurde keine robots.txt gefunden., was bedeutet, dass darüber nichts gesperrt ist.
llms.txt
Die Prüfung sucht außerdem nach llms.txt, einer reinen Textdatei unter /llms.txt, die beschreibt, worum es auf Ihrer Website geht und welche Seiten wichtig sind, damit KI-Assistenten etwas Besseres als Vermutungen haben. Angezeigt wird Vorhanden und gültig, Vorhanden, mit Verbesserungsbedarf oder Nicht gefunden. Es ist eine Konvention, keine Regel, und niemand bestraft Sie, wenn Sie darauf verzichten.
Häufige Fragen
Die Prüfung sagt, eine Seite sei erlaubt, aber sie ist nicht bei Google. Warum?
robots.txt ist nur ein möglicher Grund. Die Seite kann ein noindex-Tag tragen, mit ihrem Canonical-Tag auf eine andere Seite zeigen oder von nirgendwo verlinkt sein. Starten Sie einen Website-Scan, um das zu prüfen. Siehe einen Website-Scan starten.
Wo bearbeite ich die robots.txt?
In Ihrem Website-System oder bei Ihrem Hosting. Viele Systeme haben dafür eine Einstellung oder ein SEO-Plugin. Wenn Sie unsicher sind, schicken Sie die im Ergebnis genannte Zeile an die Person, die Ihre Website betreut.
Verbraucht diese Prüfung meine Scans oder KI-Nutzungen?
Nein. Sie zählt nicht zu Ihren Website-Scans und verbraucht keine KI-Nutzungen.
Siehe auch können KI-Antworten Ihre Website nutzen.