找齐受影响入口的关键,不是只看导航菜单,而是把栏目当成一个“被多处引用的对象”,逐类核对站内链接、模板引用、结构化数据、站点地图和站外入口。删除前先做一次入口盘点,比删除后再靠抓取报错回补更省事,也更不容易留下死链。
假设你要删除的是“行业资讯”栏目,它的栏目页地址是 /news/,下面挂着若干文章页。不要先动模板,先把这个栏目可能被引用的位置列成清单,逐项打勾:
这张清单的作用是让你知道“删完之后还有哪些地方会指向它”。如果只删栏目本身,清单里没处理的入口就会变成死链或错误跳转。
站内搜索只能查到正文里出现的链接,抓取数据只能反映爬虫实际走过的路径,两者都不完整,需要交叉核对。可执行动作是:
如果两份结果差异很大,先别急着下结论。差异可能来自页面未被抓取、正文链接是脚本生成的、或者站内搜索没有覆盖到模板层。把差异项单独列出来,逐个打开页面确认,再决定是否删除或改链。
删除栏目后,有时抓取量没有明显变化,也没有出现大量 404。这容易被当成“删对了”的证据,但它还有其他合理解释:
所以判断处理是否正确,不能只看“有没有报错”。更可靠的做法是:在删除前后各记录一次受影响入口的响应状态、跳转目标,以及该栏目页的抓取记录,比较同一批 URL 的变化。比较时要考虑季节和搜索需求变化,不能把抓取量下降直接归因于这次删除。
不同入口的处理方式不一样,判断依据是“这个入口对用户是否还有用”:
动作和结果的关系很直接:把正文内链改到相关新页,用户和爬虫都能继续沿原有路径前进;统一跳首页,则会丢失原链接指向的具体信息,后续再排查时也更难判断哪些入口已被处理。
处理完成后,保留一份简短记录:原栏目地址、删除日期、每个入口的处理方式、跳转目标、当前响应状态。下一步复查时,直接拿这份记录和抓取数据对照,就能区分“还没被抓到”和“确实处理漏了”。如果发现某个入口仍指向旧地址,回到清单补处理,而不是重新全站排查一遍。