smart_toy
Verifica robots.txt
Scarica e analizza il robots.txt di un sito, elenca le sue regole e le sue sitemap e prova se un dato URL è consentito a Googlebot, Bingbot o a qualsiasi crawler.
cloud
Viene eseguito sui nostri server edge
Un browser non può leggere la risposta di un altro sito, quindi un server edge di dotbunker la recupera e la riporta. Non viene conservato nulla.
Fonti dei dati
HTTP · dotbunker edge