抓取、索引和排名是搜索流程里三个先后衔接但彼此独立的阶段。抓取是搜索引擎发现并读取页面;索引是判断页面是否值得存入可检索的数据库;排名是用户搜索时,从已索引内容中挑出结果并排序。区分它们的关键,不是看“有没有流量”,而是看页面卡在哪一步:搜完整标题找不到、site 查询没有、收录了但目标词没有位置,对应的问题完全不同。
不要凭感觉说“没排名”,先做三项检查,每项只回答一个是非问题。
判断顺序不能颠倒。页面没被抓取时讨论排名,等于在问一个还没进入候选池的页面为什么没被选中。
抓取和索引常被混为一谈。一个页面返回 200 状态码,只说明服务器愿意把内容交给爬虫,不代表搜索引擎会把它存入索引。可能阻断索引的原因包括:页面被 robots 元标签设为 noindex、内容与站内其他页面高度重复、正文需要登录才能看到、页面长期没有外链也没有内链指向。这些条件影响的是“是否值得收录”,而不是“能否被抓取”。
反过来,页面被抓取也不等于被索引。爬虫可能只是路过,读完发现内容质量低、结构混乱或与已有页面重复,于是不收录。因此看到日志有抓取记录,不能直接推断收录成功。
页面被索引,意味着它有机会参与关键词竞争;但排名取决于该页面与查询的相关性、内容完整度、用户体验信号以及同领域其他页面的竞争。一个常见误判是:页面收录了,搜品牌词能出现,就以为目标词也该有排名。实际上,品牌词竞争极低,目标词可能竞争激烈,两者不在同一比较维度。
还有一种情况是页面被索引,但目标词由站内另一篇页面获得排名。这时问题不在索引,而在关键词归属和站内竞争,需要决定是合并内容、调整内链,还是让目标页更聚焦该词。
确认阶段后,动作才有针对性。下面按三种判断结果给出选择步骤,适用于普通内容页,不适用于登录后页面或纯 JavaScript 渲染且未做预渲染的页面。
假设某篇介绍“乐云seo”的文章,标题完整,正文可访问。情况 A:日志没有爬虫请求,site 查询也找不到,属于抓取问题。情况 B:日志有请求,但搜索完整标题找不到,属于索引问题。情况 C:搜索完整标题能找到,但搜“乐云seo”时排在第三页之后,属于排名问题。三种情况对应的修复动作不同,不能都用“多发外链”解决。
下一步,选一个目标 URL,依次记录抓取、索引、排名三项观察结果,再按对应阶段执行一项修复,隔一段时间复查同一指标,避免同时改动多个变量导致无法判断哪一步起了作用。