In den endlosen Weiten des Netzes verstrickt, der Robot, der nach Freiheit blickt.(Microsoft Copilot, 2025)
(Ro-)Bots, auch (Web-)Crawler oder Spider genannt, sind Programme, die automatisiert und systematisch große Informationsarchitekturen, wie beispielsweise das WWW, durchkämmen
und dabei unter anderem Daten sammeln, analysieren oder indexieren. Sie folgen Verweisen ähnlich wie der Mensch, können aber zusätzlich auch auf maschinenlesbare Strukturen zugreifen und diesen folgen. Diese Webseite dreht den Spieß um
und analysiert das Verhalten von Bots! Unsere neusten Tests:
Oft nützen uns diese kleinen Helferlein
, denn durch sie werden unsere Inhalte in Such- und Social-Media-Systeme aufgenommen und anderen Menschen zugänglich gemacht. Aber es gibt aber auch negative Aspekte, die zu berücksichtigen sind, wie z. B. die hohe systemseitige Belastung - nicht selten beanspruchen Bots den Großteil der Rechenleistung unserer Web-Serverarchitektur. Schlimmer noch - es gibt Bots deren Ziel es ist unsere, meist persönliche, Daten zu missbrauchen - oder uns zu schaden!
Viele Bots geben sich als solches zu erkennen. In Web-Analystools, Statistiken und Logfiles tauchen Sie mit eine Kennung, den sogenannten User-Agent, der sie als Bot ausweis, auf. Bei schädlichen Bots ist das meist nicht so - sie tarnen ihre Herkunft und ihre Motivation oft mit einem generischen User-Agent, der keine Rückschlüsse auf ihr Ziel zuläßt - manchmal nutzen sie auch die Kennung eines harmlosen
Bots. Der User-Agent ist meist wie folgt aufgebaut:
Was sie jedoch schlecht verschleiern können, ist ihre Herkunft - die IP-Adresse. Mit der Kombination aus IP-Adresse und User-Agent kann man Bots recht zuverlässig identifizieren. Außnahmen sind unter dem Begriff IP-Spoofing
bekannt.
Grundsätzlich dürfen Bots frei zugängliche Seiten im Internet besuchen! Es gehört nicht nur zum guten Ton, das sich ein Bot korrekt ausweißt - er sollte sich auch an gewissen Regelungen halten. So kann man z. B. in der robots.txt-Datei Anweisungen aufnehmen, an die sich Bots halten sollten. Dazu gehören Dateien und Verzeichnisse, die explizit für den Bot erlaubt, oder auch verboten werden und die Frequenz, mit der Bot die Seite abfragen darf. Zusätzlich gibt es in den Metadaten bzw. in den Header-Informationen einer Webseite Anweisungen, die die Indizierung einer Seite und das Folgen von Verweisen vorschreiben. Ob sich Bots an diese Regelungen halten, bzw. halten können, ist nicht immer einfach zu prüfen - so kann ein Bot auch durch einen externen Link auf eine Seite gelangen, die er über den internen Ausschluss der Linkverfolgung nofollow
nicht erreichen würde.
Hier ist eine Liste der typischen User-Agents, die regelmäßig unsere untersuchten Webseiten besuchen:
Diese Webseite dokumentiert das Verhalten von Bots und bereite die Ergebnis auf dieser Webseite auf. Dazu benutzen wir eine Vielzahl von Tests, die einzelne Aspekte des Bot-Verhaltens beleuchten. Folgende Tests laufen aktuell:
Wie lautet meine IP-Adresse? Möchten Sie wissen, mit welcher öffentlichen IP-Adresse Sie im Netz sichtbar sind? Wie finde ich meinen User-Agent heraus? Alles Teilnehmer im Internet identifizieren sich über eine IP-Adresse und einen User-Agent - nicht nur Bots! Mit unseren APIs können Sie viele gefragte Informationen auslesen. Unser Angebot ist für den privaten Gebrauch kostenlos und soll es auch bleiben! Halten Sie sich bitte an unsere Fair Use Policy und nutzen Sie unsere Angebot im angemessenen Umfang. Danke!
Copyright © https://www.robotz.info 2024-2026. Ein mit Leidenschaft erstelltes Projekt von Sven. Alle Rechte vorbehalten. Alle Angaben ohne Gewähr! █