上个月帮一个做化工原料的站查快照问题,站长说该做的都做了:内容正常更新,链接也提交了,快照还是常年停在几个月前。我调出他服务器的可用率监控一看,明白了——这台服务器一个月宕机七次,每次半小时起步,最近一次连续趴了四个钟头。蜘蛛三番五次上门吃闭门羹,来的次数只会越来越少。站长还纳闷:我内容更新得挺勤啊。勤,解决不了断网的问题。谈百度快照优化之前,得先把服务器稳定这盆地基夯实。
蜘蛛的配额逻辑
蜘蛛每次抓取都是有配额的。来了抓不到内容、超时、返回五零几错误,次数一多,搜索引擎就会判定这个站质量不可靠,主动下调抓取频率。抓得少了,你的更新自然迟迟反映不到快照上,收录也跟着停滞,这是一个连环反应。
先把家底摸清楚
- 看监控数据。接入一个在线监控服务,每几分钟探测一次首页,宕机、超时全有记录,微信群或邮件告警开着,别装了监控没人看,很多站长其实从没看过这个数据。
- 查服务器日志。统计蜘蛛访问时返回的状态码,五零几和超时的占比超过一两个百分点就该警觉。
- 处理死链。大量死链也会消耗抓取配额,定期清一遍并提交死链规则。
- 同一主机上的邻居站点被攻击连累,是共享主机常见的不稳定来源。
稳了之后才见效
那个化工站后来换了台稳定的主机,又清了两千多条死链,一个多月后抓取频率明显回升,快照延迟从几个月缩到了几天。这中间他什么高深的百度快照优化技巧都没用,就做了两个字:稳定。
监控之外还要看趋势
单次宕机不可怕,可怕的是慢性病:白天正常、夜里超时,访问高峰响应翻倍,这类问题监控日报里一拉趋势就看出来了。主机商说的九成九可用率是全年平均,对你而言,蜘蛛抓取那几分钟赶上下线,影响就是实打实的。预算允许的话,把主机升半档,稳定性的钱比任何优化技巧都值。
两条建议:一是现在就去给官网加个在线监控,成本几乎为零,宕机第一时间能知道,比事后查快照省心得多;二是老站长期快照停滞的,比格网络会先从服务器日志查起,稳定性这关不过,其他优化动作我们不建议你先花钱。