重复页面排查的第一步不是找工具,而是先判断“重复”属于哪一种:同一商品被不同URL参数、排序方式、分页或会话标识生成的地址重复,还是不同商品页因为描述、标题、规格高度相似而被判定为内容重复。两者的起点完全不同。前者先看URL和链接入口,后者先看页面正文与商品结构。第一次接触这个问题时,建议先随机抽20个商品页,记录它们的完整URL和标题,再决定往哪个方向查。
很多人把rel="canonical"当成万能开关,认为只要在页面里加一行规范链接,重复页面就会自动消失。实际情况是,规范链接只是给搜索引擎的一个提示,它不会被无条件采纳。如果重复URL本身有大量内部链接、外部链接或独立流量,搜索引擎仍可能把它当作独立页面处理。排查时要同时检查三件事:重复URL是否还能被访问、站内是否还有链接指向它、规范链接指向的目标是否可正常打开且内容一致。
电商站最常见的重复来自筛选、排序、分页和追踪参数。可以按下面顺序检查:
?sort=、?orderby=、?filter=这类参数。?utm_source=test和?from=list,看返回内容是否完全一致。如果一致,说明这些参数只影响统计,不改变页面主体。/category/page/2/与/category/?paged=2是否同时存在且都能打开。m.example.com与www.example.com,若内容相同且没有正确对应关系,也会形成重复。判断结果:如果带参数版本能被访问、有内部链接、且与不带参数版本内容一致,就属于需要处理的参数型重复。处理条件通常是:确认该参数不影响页面核心内容后,用规范链接指向主版本,或让服务器对无意义参数返回301跳转。若参数确实会改变筛选结果,例如只显示“红色、XL码”的商品子集,则不宜简单跳转,要考虑该子集是否有独立搜索需求。
内容重复不一定表现为URL相同。不同商品可能因为复制供应商描述、只改型号数字、规格表几乎一致,而被视为高度相似。排查时可以这样做:
判断结果:如果多个页面只有型号不同,正文、卖点、参数说明几乎一样,那么优先补充差异化内容,例如适用场景、对比说明、常见问题。若页面本身没有独立价值,例如空搜索结果页,可以考虑设置noindex或调整站内链接,避免其被大量抓取。
下面这份清单适合第一次排查时逐项打勾,不需要一次改完,先记录现状再决定处理顺序:
比较改动效果时要注意,流量和收录数据会受季节、促销活动和搜索需求变化影响,不能只看改动后一两天的数字。更稳妥的做法是记录改动前两周与改动后两周的同口径数据,并排除大促、节假日等明显波动因素。
先完成上面清单的前三项,把参数型重复和内容型重复分开列出来。如果发现同一商品存在多个可访问URL,优先处理有内部链接指向的那些;如果发现多个商品页正文高度相似,优先补充差异化描述。处理完一批后,再用同一份清单复查,确认重复URL是否已经减少或指向统一。