smart_toy
Vérification du robots.txt
Récupérez et analysez le robots.txt d'un site, listez ses règles et ses sitemaps, et testez si une URL donnée est autorisée pour Googlebot, Bingbot ou n'importe quel robot.
cloud
S'exécute sur nos serveurs edge
Un navigateur ne peut pas lire la réponse d'un autre site : un serveur edge de dotbunker la récupère et vous la rapporte. Rien n'est conservé.
Sources de données
HTTP · dotbunker edge