Test robots.txt

Pobierz i przeanalizuj plik robots.txt witryny, wypisz jego reguły i mapy witryny oraz sprawdź, czy dany adres URL jest dozwolony dla Googlebota, Bingbota lub dowolnego robota.
cloud

Działa na naszych serwerach brzegowych

Przeglądarka nie może odczytać odpowiedzi cudzej strony, więc pobiera ją serwer brzegowy dotbunkera i przekazuje wynik. Nic nie jest zapisywane.

Źródła danych

HTTP · dotbunker edge