Vérification du robots.txt

Récupérez et analysez le robots.txt d'un site, listez ses règles et ses sitemaps, et testez si une URL donnée est autorisée pour Googlebot, Bingbot ou n'importe quel robot.
cloud

S'exécute sur nos serveurs edge

Un navigateur ne peut pas lire la réponse d'un autre site : un serveur edge de dotbunker la récupère et vous la rapporte. Rien n'est conservé.

Sources de données

HTTP · dotbunker edge