Robots.txt 检查

抓取并解析网站的 robots.txt，列出其中的规则和站点地图，再测试某个 URL 对 Googlebot、Bingbot 或任意爬虫是否被允许。