smart_toy
Verificador de robots.txt
Busque e interprete o robots.txt de um site, liste as regras e os sitemaps e teste se uma URL é permitida para o Googlebot, o Bingbot ou qualquer rastreador.
cloud
Roda nos nossos servidores de borda
Um navegador não consegue ler a resposta de outro site, então um servidor de borda do dotbunker busca e devolve o resultado. Nada é guardado.
Fontes de dados
HTTP · dotbunker edge