smart_toy
Robots.txt-Prüfung
Laden und lesen Sie die robots.txt einer Website, listen Sie ihre Regeln und Sitemaps auf und testen Sie, ob eine bestimmte URL für Googlebot, Bingbot oder jeden Crawler erlaubt ist.
cloud
Läuft auf unseren Edge-Servern
Ein Browser darf die Antwort einer fremden Website nicht lesen, deshalb holt ein dotbunker-Edge-Server sie und berichtet zurück. Gespeichert wird nichts.
Datenquellen
HTTP · dotbunker edge