📍 WDQWDWQD987AAAAA:18.97.14.84
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /12ef098aca79.html
📄

搜索引擎抓取规则，参数组合无限增长时怎样定义有效地址集合

核心判断是：不要试图穷举所有参数组合，而要把“有效地址集合”定义为一个可判定的规则集合——即给定任意一个带参数的 URL，能用少量确定性条件判断它是否属于你希望被抓取和索引的地址。缺少完整数据和权限时，仍可先做一件事：从现有可观测的入口（如站点内链、站点地图、日志中已出现的参数形态）归纳出参数白名单与黑名单，并对未列入的组合作出默认取舍。

先区分两种条件：参数是否影响页面内容

定义有效地址集合的第一个分叉，是参数是否改变用户看到的核心内容。可以用一个假设例子说明：假设商品页 ?id=123 是内容主体，而 ?sort=price、?page=2、?ref=abc 只改变排序、分页位置或来源标记。此时有效地址集合应包含 id，并对 sort、ref 这类参数做归一化或排除，对 page 则视分页是否提供独立可索引内容而定。

如果参数确实改变内容（例如不同颜色、不同规格各自有独立正文和独立搜索需求），那么这些组合应被纳入有效集合，但需要为它们建立稳定的规范形式，而不是放任任意顺序、任意大小写、任意附加跟踪参数自由组合。判断依据不是参数数量，而是“该参数是否产生用户可感知且值得独立存在的页面差异”。

缺少数据和权限时，最小可执行动作是什么

在没有完整日志、没有服务器配置权限、也无法确认搜索引擎具体支持情况时，仍可执行的最小动作是：整理一份参数清单，标注每个参数的用途、是否影响内容、是否由站内链接产生，然后据此写出规则草案。这个动作的结果会直接决定下一步——如果草案中大部分参数被判定为无内容影响，接下来的重点就是归一化和内链收敛；如果相当一部分参数影响内容，重点就转为为这些组合建立可抓取的稳定地址和规范指向。

需要明确不能推出的结论：日志中某参数请求量下降，不能单独证明你的规则已正确生效，因为还可能是入口链接减少、抓取预算转移、外部链接变化或统计口径变化。同样，站点地图中只列出你认可的地址，也不保证这些地址一定被收录；它只是表达偏好，不是收录承诺。

把有效集合写成可判定规则，而不是地址清单

有效地址集合应尽量写成类似下面的判定逻辑（以下为规则示意，不是可直接部署的配置）：

• 允许参数：id、category，且值必须匹配既定格式。
• 忽略参数：ref、utm_*、sessionid，参与归一化但不参与内容判定。
• 条件允许参数：page 仅在对应分页存在独立可索引内容时保留，否则归一到第一页。
• 默认策略：未列入以上任何一类的参数组合，视为无效地址，不主动生成内链，也不放入站点地图。

这样做的好处是：当出现新的参数组合时，你不需要重新枚举，只需判断它落入哪一类。实际动作是先把默认策略落到内链和站点地图的生成逻辑里，再观察已收录地址的形态是否向规则靠拢；如果未收敛，再回头检查是否有外部链接或历史页面仍在大量产生被默认排除的组合。

例外：哪些情况下不应强行收敛

有几种例外需要单独处理。第一，参数组合对应的是用户真实搜索需求且内容确有差异，此时强行归一化可能损失有效页面。第二，参数由第三方广告或联盟链接带入，且你无法控制其形态，这时应优先在服务端做归一化，而不是依赖前端脚本。第三，某些参数是功能必需（如筛选后的结果页），但它们可能同时生成大量近似地址，此时应评估是否需要用 robots.txt 限制抓取；但要记住，robots.txt 的抓取限制不等于可靠的索引移除，被限制抓取的地址仍可能因外部链接而被收录。

最后，不同搜索引擎对参数处理和规范化的支持情况并不一致，涉及具体搜索引擎时应分别核查其公开文档，而不是假设一套规则通用。有效地址集合的定义目标不是让所有引擎行为完全一致，而是让你自己能用一套可解释、可复查的规则，决定哪些地址值得被抓取、哪些应当被收敛。