robots.txt 检测_SEO工具 - 做最牛的网络测速工具

robots.txt 检测从服务器请求公网页面，不执行脚本返回SEO工具

从服务器抓取公网页面的原始 HTML，不执行页面脚本，也不会访问内网地址。

工具介绍功能说明

读取站点 robots.txt，列出 User-agent、Allow、Disallow 和 Sitemap 声明。