按目标拆开做,每一步都能看到数据。
入口站按周期轮换,避免单点失效
必应、谷歌、百度分开配置
每日给抓取报表,能看到蜘蛛来没来
指定目标页,避免抓取预算被摊薄
按项目隔离,互不影响
支持 URL 列表批量配置
按需选,先用试用档验证。
| 字段 | 含义 |
|---|---|
| 抓取量 | 去重 IP 计数 |
| 状态码 | 200/301/302/404 分布 |
| 来源站 | 哪个入口带来的 |
| 目标页 | 落到哪个 URL |
2026-11-01
提供原始请求便于排查。
2026-11-01
新增按目标页维度的抓取量、状态码与去重统计。
2026-11-01
每周检查一次可用性。
抓取量、状态码、来源站、目标页。
每天更新一次。
支持。
一批已被收录的站点,蜘蛛定期来抓;把链接指向目标页,蜘蛛会顺路抓过去。