从链接发现页面
读取 Sitemap 并从站内链接逐步发现页面,受 robots 与配置范围约束。
扫描公开可访问的站点页面,检查 HTTP 状态、canonical 与 noindex,生成可提交的 XML Sitemap。
排队中
| URL | HTTP | 索引 | Canonical |
|---|
扫描仅覆盖 robots.txt 允许、在设定深度内可从链接发现且可公开访问的页面。结果不代表站点全部 URL。lastmod 仅在来源提供可信更新时间时输出。
读取 Sitemap 并从站内链接逐步发现页面,受 robots 与配置范围约束。
查看 HTTP 状态、重定向、canonical、noindex 与抓取错误。
输出规范 XML;大型结果自动切分并提供索引文件与 ZIP 下载。
提交站点,查看扫描范围内的结果,再下载生成文件。不要将有限扫描误认为完整站点清单。
围绕公开页面发现与索引信号核查,为不同团队提供可复核的 URL 清单。
核对公开页面是否能从站内链接或现有 Sitemap 发现,提前定位重定向与不可访问页面。
按 HTTP 状态、canonical 和 noindex 信号筛选结果,辅助检查站点地图是否包含合适的页面。
通过独立任务链接恢复扫描报告,并将 XML 与 ZIP 文件交付给站点维护团队。
不能保证。它只能发现 robots.txt 允许、在任务深度和数量上限内、从 Sitemap 或站内链接可到达的公开页面。
不会。导入仅校验并规范化网址,随后生成 Sitemap;导入模式不会请求这些页面或验证其 HTTP 状态。
仅在 Sitemap 或页面来源提供可信更新时间时才会输出,不会根据扫描时间编造更新时间。