最小修复试验的核心是:只改一个最可能阻断收录的变量,观察百度蜘蛛是否重新抓取、页面是否从“未收录”变为“已收录”,而不是同时改标题、正文、链接和站点结构。时间和人手有限时,优先处理“抓取层”问题,再处理“内容质量层”问题。
打开百度搜索资源平台的“抓取诊断”或“抓取频次”相关报告,查目标URL最近一次抓取时间、HTTP状态码和抓取失败原因。如果状态码是403、404、503或连接超时,说明蜘蛛可能根本没拿到页面,修复重点在服务器和robots.txt。如果状态码是200但长期不收录,说明抓取成功但索引阶段未通过,修复重点转向内容质量和重复度。
检查结果说明:抓取失败优先处理访问层;抓取成功但不收录,不要反复提交同一URL,应检查页面是否与站内其他页面高度重复。
/robots.txt,确认目标目录没有被Disallow。结果说明:若被拦截,蜘蛛不会抓取,但robots.txt不能用来可靠地移除已收录页面。curl -I或浏览器开发者工具看响应头。结果说明:非200状态会直接阻断收录,先修服务器配置。rel=canonical指向自己,而不是指向其他页面。结果说明:错误canonical会让百度把权重和收录归到别的URL。假设某产品页三个月未收录,抓取诊断显示最近一次抓取为200,但页面正文只有两段产品参数,且与另外五个变体页几乎相同。此时最小试验不是重写全站,而是先给该页补充一段独立说明,再通过搜索资源平台提交该URL。观察窗口建议设为7到14天,期间不再改动其他变量。若仍未收录,再检查内链是否指向该页、是否有其他页面canonical指向它。
判断结果:若抓取频次增加但收录未变,问题更可能在内容质量;若抓取频次没有变化,问题更可能在内链发现或站点整体抓取预算。
这套最小修复试验适用于单页或少量页面未收录、且站点整体抓取正常的情况。如果全站大量页面同时不收录,应先查服务器日志中的百度蜘蛛访问量、robots.txt全站规则和网站是否被手动处罚,而不是逐页做小试验。HTTPS只解决传输加密,不保证页面安全无漏洞,也不保证收录或排名。
下一步:从清单中选出唯一一个最可能阻断抓取的检查项,今天就完成修改并记录修改时间,之后只观察百度蜘蛛对该URL的抓取变化,不要同时调整其他SEO变量。