smart_toy
Comprobador de robots.txt
Descarga y analiza el robots.txt de un sitio, lista sus reglas y sus sitemaps, y prueba si una URL concreta está permitida para Googlebot, Bingbot o cualquier rastreador.
cloud
Se ejecuta en nuestros servidores edge
Un navegador no puede leer la respuesta de otro sitio, así que un servidor edge de dotbunker la pide y te la devuelve. No se guarda nada.
Fuentes de datos
HTTP · dotbunker edge