Am 29. Oktober ist Tag des Internets. Er wird jedes Jahr begangen und erinnert an die Anfänge des Internets. Eine aktuelle Untersuchung lenkt den Blick auf eine heutige Frage des offenen Netzes: Wer darf Webseiten abrufen, und was geschieht mit ihren Inhalten danach?

In einer Stichprobe von 277 Websites war der OpenAI-Crawler auf 27 Seiten gesperrt. Bei 24 davon erhielten die Forschenden beim Abruf einen HTTP-403-Fehler. Das bedeutet: Der Server verweigerte den Zugriff. In der robots.txt stand diese Sperre jedoch nicht. Laut m2 webvision waren damit rund neun von zehn erfassten Sperren in dieser Datei nicht sichtbar.

Hinweis ist nicht gleich Zugangssperre

Die robots.txt ist eine Art Wegweiser für automatische Programme. Website-Betreiber können darin angeben, welche Bereiche ein Crawler abrufen soll oder meiden soll. Doch die Datei ist keine technische Schranke. Sie teilt einen Wunsch mit, verhindert den Zugriff aber nicht selbst.

Ein HTTP-403-Fehler wirkt anders: Er kommt vom Server und weist den Abruf tatsächlich ab. Die Untersuchung zeigt also einen Unterschied zwischen einer erklärten Bitte und einer praktisch durchgesetzten Sperre. Wer nur die robots.txt prüft, sieht womöglich nicht, ob ein Crawler wirklich Zugang erhält.

Die Zahlen sagen allerdings nicht, warum die 24 Seiten den Zugriff verweigerten. Auch lässt sich aus einer Stichprobe von 277 Websites nicht auf das gesamte Web schließen. Die Ergebnisse beschreiben die untersuchten Seiten, nicht automatisch das Verhalten aller Website-Betreiber oder Crawler.

Zugang und Nutzung sind zwei Fragen

Eine robots.txt betrifft zunächst den Abruf von Inhalten. Sie legt nicht fest, wie diese Inhalte später verwendet werden dürfen. Dazu zählen mögliche Anwendungen in KI-Systemen, etwa beim Training oder bei anderen Funktionen. Zugang zum Inhalt und dessen spätere Nutzung sind daher getrennte Fragen.

Auch große Suchdienste unterscheiden zwischen dem Besuch ihrer Crawler und bestimmten KI-Verwendungen. Für Betreiber kann das mehrere Entscheidungen bedeuten: Soll ein automatisches Programm die Seite überhaupt abrufen? Und falls ja, für welche Zwecke darf der Inhalt genutzt werden? Eine einzelne Regel in der robots.txt beantwortet nicht zwingend beide Fragen.

Zum Tag des Internets passt dieser Befund, weil er eine technische Seite des offenen Webs sichtbar macht. Inhalte können öffentlich erreichbar sein und dennoch durch Serverregeln vor bestimmten Abrufen geschützt werden. Umgekehrt ist ein Hinweis in einer Datei keine Garantie dafür, dass ein Programm draußen bleibt.

Was die Zahlen zeigen – und was nicht

Für Website-Betreiber heißt das: Wer einen Crawler zuverlässig aussperren will, braucht mehr als einen Eintrag in der robots.txt. Für Leserinnen und Leser zeigen die Zahlen, dass Regeln für KI-Crawler nicht immer offen dokumentiert sind. Die Untersuchung liefert damit einen konkreten Einblick, aber kein vollständiges Bild des Netzes.

Das offene Web besteht nicht nur aus frei erreichbaren Seiten. Es hängt auch davon ab, welche Zugriffe Betreiber erlauben und wie transparent sie ihre Regeln machen. Die robots.txt kann Wünsche sichtbar machen; die tatsächliche Zugangskontrolle liegt oft an anderer Stelle.