smart_toy
Test robots.txt
Pobierz i przeanalizuj plik robots.txt witryny, wypisz jego reguły i mapy witryny oraz sprawdź, czy dany adres URL jest dozwolony dla Googlebota, Bingbota lub dowolnego robota.
cloud
Działa na naszych serwerach brzegowych
Przeglądarka nie może odczytać odpowiedzi cudzej strony, więc pobiera ją serwer brzegowy dotbunkera i przekazuje wynik. Nic nie jest zapisywane.
Źródła danych
HTTP · dotbunker edge