做医疗器械的张总上周找到我们,语气挺着急:公司名搜出来,百度快照还停在三个多月前,官网新上的产品线快照里根本没有。他自己反复刷新、清缓存,甚至换了台电脑搜,快照纹丝不动。其实这不是浏览器的问题,也不是百度出故障了,而是蜘蛛有阵子没正常抓取他的页面了。这是百度快照优化里最常被问到的场景,排查得按顺序来。
蜘蛛去哪了
快照的更新时间,直接取决于蜘蛛最近一次成功抓取你页面的时间。抓取断了档,快照就停摆,所以排查的思路是先确认蜘蛛的访问情况,再看是什么把它挡在了门外。
五个最常见的原因
- 服务器不稳定。蜘蛛来抓的那几次正好碰上打不开或者超时,一来二去抓取频率就降下来了。
- robots 文件或 meta 标签误屏蔽。改版时加的屏蔽规则忘删,蜘蛛直接吃闭门羹。
- 页面内容长期没变化。一模一样的页面,蜘蛛没必要频繁回来,快照自然停在旧时间。
- 抓取异常。DNS 报错、跳转混乱、返回状态码不对,在百度站长平台的抓取诊断里能看到具体原因。
- 被挂马或被镜像,百度降低了信任度,抓取也跟着变保守。
- 换过域名或服务器没搬家干净,新旧站同时在线也会干扰抓取。
排查动作就两步
先登录百度搜索资源平台,用抓取诊断测一下首页,看返回的是不是正常内容和 200 状态码;再对照服务器日志,搜百度蜘蛛的访问记录,看它最近到底来没来、来了之后拿到了什么。这两步做完,原因基本能锁定。张总的站最后查出来是 robots 里多了一行误加的 Disallow,删掉重新提交,十来天快照就追上了。
多久恢复算正常
找到原因并处理后,恢复时间跟停更的时长有关。停了一两周的,处理完三五天就有反应;停了几个月的,蜘蛛要重新建立信任,两三周甚至一个月都正常。恢复期间别频繁改配置,今天删一行明天加一行,反而把蜘蛛搞糊涂。盯住抓取诊断的数据,比天天搜快照看时间踏实得多。
两条实在建议:一是把抓取诊断当作每月例行检查,别等快照停在几个月前才发现问题;二是自己看不懂日志的话,可以找比格网络做一次百度快照优化排查,原因定位到具体哪一行配置,改完再帮你盯着恢复。