先给结论:不要全站回滚,也不要直接删草稿页。正确顺序是先用发布清单和站点地图锁定“实际被提交的URL集合”,再用抓取日志和索引状态把集合缩到“真正被外部发现的页面”,最后只对这批页面做单变量修正。下面用一个假设情境把决策过程走一遍。
假设你负责一个内容站,某次用脚本批量推送了 40 个页面,其中 3 个是尚未定稿的草稿:标题带“待定”、正文只有提纲、内链指向不存在的路径。发布后第二天,你发现草稿页在站点地图里,也在内链模块里被引用。此时要回答的不是“要不要删”,而是“影响范围到底有多大”。
范围判断分三层:被提交层(站点地图、内链、RSS 是否包含)、被抓取层(服务器日志里是否有抓取记录)、被索引层(搜索结果或索引状态是否出现该 URL)。三层是递进关系,不是并列关系。只有进入被抓取层,才需要优先处理;只在被提交层,处理成本低得多。
凭记忆圈范围几乎一定会漏。可执行的动作是:把本次发布的提交记录导出成一份 URL 列表,逐条打三个标记——是否在站点地图、是否被内链引用、是否返回正常状态码。草稿页通常在这三项上表现异常:状态码正常但内容不完整,或者被内链引用但不在主导航。
这一步的结果决定下一步:如果草稿 URL 只在站点地图、没有任何内链指向,那么外部发现路径极窄,优先从站点地图移除即可;如果它同时被多个内链引用,就要评估这些内链所在页面的权重传递是否被稀释。
站点地图包含不等于被抓取。查看服务器日志中这些草稿 URL 的请求记录,注意区分两类请求:一类是常规抓取,一类是你自己或监控工具的访问。如果日志里只有你自己的 IP,说明外部尚未发现,处理窗口更宽裕。
这里有一个容易误判的点:抓取量归零不能单独证明处理正确。它也可能是抓取预算整体下降、站点其他部分出现问题,或者日志采集本身有缺口。合理解释至少有三种:草稿页确实不再被抓、抓取重心转移到其他页面、日志保留周期太短看不到历史。要排除后两种,需要对比同期其他页面的抓取变化。
处理动作有三种,适用条件不同:
假设情境里,三篇草稿中有一篇被首页内链引用,另外两篇只在站点地图。那么处理顺序应是:先清理首页那条内链并处理该页,再批量从站点地图移除另外两篇。这个顺序的依据是内链带来的发现路径更强,优先切断。
处理完成后,不要用“全站抓取量是否回升”来判断。更可靠的做法是选一组结构相似的正常页面作为对照,比较处理前后草稿 URL 的抓取请求数变化。如果草稿 URL 请求下降而对照组基本持平,说明处理生效;如果两组同步下降,更可能是季节、搜索需求波动或采集差异导致,不能归因于你的操作。
这个对照方法有一个前提:对照组页面与草稿页在层级、内链数量上大致可比。如果对照组是首页而草稿是深层页,比较结果没有意义。
上面这套流程在“个别样本成立、规模化后出现例外”时最容易失效。比如一次发布 400 个页面而非 40 个,逐个查日志不现实,必须先按模板或目录分组,再抽样验证。另外,如果站点本身抓取预算紧张,草稿页被发现的概率反而更低,处理优先级可以下调;反之,高权重站点的一次误发布可能当天就被抓取,窗口很短。判断依据始终是证据层级,而不是页面数量本身。
最后提醒一个动作细节:从站点地图移除后,要确认站点地图文件本身已更新并重新提交,否则旧版本仍可能被读取。这一步的结果直接影响下一步——只有确认提交层已干净,后续的抓取和索引观察才有意义。