9 月 27 日，我们一个站群的爬虫访问量从平时的每天二三十次，跳到了一千多次。次日又翻了一倍，再往后一天掉回零头。
如果那几天你盯着后台看，心情会像坐过山车。今天觉得要起飞了，明天觉得是不是被封了。
这篇讲我们后来怎么看这件事，以及为什么抓取量不该被当成成绩单。
先说说那三天发生了什么
站群 9 月中旬上线。上线之后的头一周，字节的爬虫每天来二三十次，不温不火。到 9 月 27 日，它一天来了一千多次。9 月 28 日到两千次出头。9 月 29 日，掉到三百次左右。
一开始我们也慌。是不是内容出了问题，是不是被降权了。
查日志之后看明白了。前两天的暴涨是首抓：新站的页面它要逐页过一遍，一次性把该拿的都拿走。再往后一天回落是回到常态，因为该抓的抓完了，剩下的就是定期回来看有没有更新。
这件事的启示很朴素：爬虫的访问曲线里，有一段是它认识你，另一段才是它跟你保持联系。前一段的数字不代表任何成绩，它只是流程。
更值得看的是另一个数
我们把那天的日志按来源拆开。当天总共三千多次访问里，豆包家的爬虫占了两千多次，超过六成。更关键的是回访率，九成以上的页面是它之前来过，这次又来的。
这个数比总量有意思。它说明这些页面在对方那里是有记录的，值得回来看一眼。总量涨不涨，很多时候取决于你有没有刚上新站。
两个站群的对比，把这件事说透了
后来我们做过一次三站对比。
两个站群，一个的可抓页面数是另一个的十几倍，一天的访问量也差十几倍。但把访问量除以可抓页面数，两边算下来都是每个页面每天被访问接近四次。一模一样。
也就是说，单个页面被爬虫光顾的强度，在同一个量级上基本是稳定的。总量差得多，只是因为页面数量差得多。
所以，如果你看到自己的站「抓取量很少」，先别急着下结论。至少先问三件事：
这个站到底有多少个可抓的 URL。二十个页面的站和两百个页面的站，总量没法比。
你的统计窗口有多长。有的看板显示的今日数据，其实只覆盖了几个小时，因为爬虫日志是当天才建立起来的。
这个站是不是刚上线。刚上线就有一天的高峰，那高峰是首抓，不是异常。
我们后来改看什么
总量看完就放一边了。现在固定看四个东西：
近一天新增了哪些被访问的 URL。这直接对应你有没有真的产生新内容。
有多少页面是被回访的，回访率是多少。回访比首次访问更能说明内容值不值得再来。
核心资产有没有被覆盖到。首页，服务页，产品页，案例页，文章页，这五类里缺哪一类，缺的那类就是爬虫看不到的地方。
哪些页面被反复回访。按覆盖天数排序，排在前面的是 AI 眼里真正重要的东西。这个榜单一出来，比任何猜测都准。
边界
这套看法针对的是「内容站群 + 搜索引擎抓取」这个场景。如果你做的是电商或者大流量站点，抓取量的意义不一样，别照搬。
另外要提醒一句，后台日志里的爬虫身份不能只看 User-Agent。我们实测过，有一批访问自称是某家 AI 的爬虫，实际上来自同一个 IP，而且 UA 在不同请求里换着花样。真要确认真假，得反向查 IP 的域名记录。
桐灼给客户做交付的时候，抓取监测是单独的一项，看的是信号不是总量。你要是想搞清楚自己站上的抓取数据到底该看哪几个数，可以找我们聊。