百度收录加速：页面内容相同但响应头不同会影响哪些判断
📱 Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
🔗 /597733a47d5c.html
📄
百度收录加速：页面内容相同但响应头不同会影响哪些判断
如果两个地址返回的正文、标题、主要链接完全一致，仅响应头不同，百度仍可能把它们当成不同处理对象。最需要先判断的是：这些响应头差异是否指向同一份内容，还是分别代表缓存副本、语言变体、压缩版本或旧系统残留。把差异当成“重复内容”直接删一个，往往比保留更危险。
先看三个响应头字段，而不是先看正文
正文相同不代表抓取链路相同。先取两份响应头做对比，重点看 Content-Type、Content-Language、Vary、Cache-Control、Last-Modified 和 ETag。它们分别影响百度对资源类型、语言归属、缓存键、内容更新时间的判断。如果 Content-Type 一个写 text/html; charset=utf-8，另一个写 text/html，这通常只是字符集声明缺失，但若正文里含中文，百度解析时可能走不同解码路径，最终抓到的文本未必相同。
更值得注意的是 Vary。假设 A 地址返回 Vary: Accept-Encoding，B 地址没有该头，那么百度可能把 gzip 版本和未压缩版本视为两个可缓存对象。此时你看到的“正文相同”只是浏览器解压后的结果，抓取端拿到的字节流并不一样。下一步应直接用抓取工具查看未解压响应体，而不是只看页面源码。
内容相同但响应头不同，百度可能做出四种判断
第一种是同一资源的不同缓存副本。条件是 URL 路径相同、正文一致、仅缓存头或压缩头不同。此时百度通常按同一地址处理，不必额外加速收录，重点转为确认缓存不会返回过期版本。
第二种是同一内容的不同语言或地区版本。条件是 Content-Language 不同，或 Vary 包含 Accept-Language。百度可能理解为面向不同语言用户的变体，而不是重复页面。如果实际只有中文用户，应统一语言头，避免制造无意义的变体判断。
第三种是旧系统与新系统的并存副本。条件是旧地址返回 Last-Modified 较旧、ETag 与当前系统不同，正文却仍相同。百度可能继续保留旧地址的抓取记录，而新地址无法获得稳定更新信号。此时保留旧地址并补 301 到新地址，比直接删除旧地址更利于判断迁移关系。
第四种是响应头暗示内容类型不同，例如一个返回 application/xhtml+xml，另一个返回 text/html。百度可能按不同文档类型解析。若页面实际是普通 HTML，应统一为 text/html，再观察抓取结果是否收敛。
把读者手中的页面转成可执行处理方案
假设你手上有一批旧内容页，正文仍值得保留，但旧系统和新系统各返回一份。先不要批量提交新地址。按下面顺序处理：
- 取旧地址和新地址的完整响应头，记录
Content-Type、Content-Language、Vary、Last-Modified、ETag五项。 - 用抓取工具请求旧地址，确认返回体是否与浏览器看到的一致。若不一致，先解决缓存或压缩差异，再谈收录。
- 如果旧地址仍有价值且内容不变，保留旧地址，只统一响应头；如果旧地址已无必要保留，设置 301 指向新地址，并确认新地址返回 200。
- 提交站点地图前，先抽查 5 到 10 个 URL 的响应头，确认没有混杂的语言头或文档类型头。站点地图不保证收录，但能减少因响应头混乱造成的判断分歧。
- 观察抓取日志中旧地址和新地址的返回码。若旧地址仍大量返回 200 且正文相同，说明 301 未生效或抓取端仍在访问旧入口，下一步应检查服务器层是否覆盖了重定向规则。
这个动作的结果会直接影响下一步：如果统一响应头后旧地址返回 301，新地址返回 200，那么百度对两个地址的关系判断会趋于明确；如果统一后旧地址仍返回 200，只是正文相同，那么重复判断仍可能继续，此时应优先处理服务器配置，而不是反复提交新地址。
哪些响应头差异可以忽略，哪些不能
可以暂时忽略的差异包括：Date、Server、X-Request-Id 这类每次请求都会变化的字段。它们不影响内容判断。不能忽略的是 Content-Type 中的字符集、Content-Language、Vary 和重定向状态码。它们会改变百度对同一份正文的归属判断。
还有一种反常情况：页面正文相同，但一个地址返回 200，另一个返回 304。304 表示未修改，不是错误，但如果百度首次抓取就遇到 304，而本地没有可用缓存，它可能无法获得完整正文。此时应确认 304 是否只在带 If-Modified-Since 请求时出现，而不是对所有请求都返回 304。若对所有请求都返回 304，应修正为正常返回 200 或 301。
验证时不要只看“收录量”
响应头统一后，收录量没有立刻变化，不能单独证明处理失败。抓取量下降也不能单独证明处理正确。合理原因包括：百度仍在按旧缓存抓取、站点地图尚未被处理、新地址内部链接不足、旧地址仍有外部入口。更可靠的验证是抽查日志：旧地址是否从 200 变为 301，新地址是否稳定返回 200，以及百度是否开始用新地址作为抓取入口。
如果旧内容必须退出，但其中部分段落仍有价值，可以把有价值的部分合并到新页面，再让旧地址 301 到新地址。不要只删除旧地址而不保留任何指向，否则百度可能继续访问旧地址并得到 404，反而延长判断周期。robots.txt 的抓取限制不等于可靠的索引移除，它只阻止抓取，不保证旧地址从索引中消失。
最终判断标准不是“两个响应头完全一样”，而是百度能否稳定地把两个地址理解为同一份内容或明确的迁移关系。只要这个关系清晰，正文相同的页面就不必为了响应头差异而全部删除。
