smart_toy
Robots.txt 검사
사이트의 robots.txt를 가져와 해석하고, 규칙과 사이트맵을 나열하며, 특정 URL이 Googlebot이나 Bingbot 또는 모든 크롤러에 허용되는지 시험합니다.
cloud
저희 엣지 서버에서 실행
브라우저는 다른 사이트의 응답을 읽을 수 없어 dotbunker 엣지 서버가 대신 가져와 알려 줍니다. 아무것도 저장하지 않습니다.
데이터 출처
HTTP · dotbunker edge