Die Tür für die KI öffnen
Viele Websites sperren KI-Suchmaschinen aus, ohne es zu wissen. Eine falsche Zeile in der robots.txt reicht. Manche Hosting- und Sicherheitsdienste wie Cloudflare blockieren KI-Crawler inzwischen sogar standardmäßig.
Spannend dabei: Die großen Anbieter schicken verschiedene Crawler los. Die einen sammeln Daten zum Trainieren, die anderen suchen live für eine Antwort. Bei OpenAI sind das zum Beispiel GPTBot für das Training und OAI-SearchBot für die Suche. Du kannst also das Training sperren und trotzdem in den Antworten auftauchen. Wenn du die Unterschiede kennst, entscheidest du bewusst.
Außerdem wichtig:
- Inhalte im Quelltext, nicht nur per JavaScript nachgeladen
- Schnelle Ladezeit und gute Core Web Vitals (LCP, INP, CLS)
- Mobil optimiert, HTTPS, aktuelle XML-Sitemap
- Neue Inhalte über IndexNow sofort an Bing melden
