降权恢复方法：清理空页面时如何区分待发布与已废弃内容
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /f6ab9a4302ef.html
📄
降权恢复方法：清理空页面时如何区分待发布与已废弃内容
先给结论：判断一个空页面该留还是该清，不能看它“有没有内容”，而要看它有没有明确的承接对象和后续动作。有指定上线目标、有内部入口等待填充、有明确责任人的，属于待发布；没有承接对象、没有入口、没有排期的，属于已废弃。降权恢复阶段最怕的不是清错一个页面，而是把一批“暂时空着但已被链接指向”的页面一起删掉，导致原本指向它们的内部链接全部落空。
矛盾现象：清掉空页面后，抓取反而更乱
很多站点在降权恢复时会把空页面批量返回 404 或 410，理由是“减少低质页面”。但清理后常出现两种相反结果：一种是指向这些页面的内部链接变成死链，爬虫反复访问无效地址；另一种是某些空页面本来承担着栏目占位，删掉后该栏目的层级入口消失，原本能到达的下级页面变得孤立。
这说明“空”本身不是判断依据。真正需要区分的是：这个页面是否还在站点结构中承担连接作用。
两种解释：结构占位，还是内容废弃
同一个空页面，可能有两种完全不同的成因：
- 结构占位：页面已建好，但内容尚未发布，通常有明确的栏目归属、固定的 URL 命名、已被导航或列表引用。它的“空”是暂时的。
- 内容废弃：页面曾经计划承载某类内容，后来主题调整、合并或放弃，既没有内容，也没有入口引用，URL 只是历史遗留。它的“空”是终局。
这两种情况在页面上看起来一样，但处理方式相反：前者应保留并标记为待发布，后者应清理并处理指向它的链接。
可区分的证据：从入口和排期反推
要区分这两种解释，可以检查三类可验证的证据：
- 是否有内部入口指向它。如果导航、列表页、正文链接或站点地图中仍存在指向该 URL 的链接，说明它被当作可达节点使用，倾向待发布。
- 是否有排期或责任人。在内容计划、任务列表或发布记录中能找到该页面的上线时间或负责人，倾向待发布；查不到任何记录，倾向已废弃。
- 是否与其他页面重复。如果它的目标主题已被另一个已有内容的页面覆盖，且两者定位相同，说明该空页面已无独立价值，倾向已废弃。
假设一个栏目下有 20 个空页面，其中 6 个被导航引用、3 个在内容计划中有排期、11 个既无入口也无排期。按上述证据，前 6 个应保留为待发布，后 11 个进入废弃处理流程。这个划分不是永久结论，只是当前状态下的操作依据。
实际动作：先标记，再分批处理
不要一次性对所有空页面做删除。先执行一个动作：给每个空页面打上“待发布”或“已废弃”标记，并记录判断依据。标记完成后，只对“已废弃”且无内部入口的页面执行清理。
这个动作的结果会直接影响下一步：如果清理后抓取日志中这些 URL 的访问量下降，且没有出现新的死链报错，说明这批页面确实没有结构作用，可以继续处理同类页面；如果清理后出现大量 404 来源指向站内，说明此前判断遗漏了入口引用，应暂停清理，先修复链接再重新评估。
需要注意，抓取量下降本身不能单独证明清理正确。季节性的抓取频率变化、站点整体抓取预算调整、数据采集工具的差异，都可能造成类似现象。判断时要结合死链报错和入口引用情况一起看。
适用条件与边界
这套区分方法适用于页面已经存在、但内容为空或接近为空的场景，不适用于内容完整但质量待提升的页面。如果站点规模很小，空页面数量有限，可以直接逐个确认入口和排期，不必建立标记流程。如果空页面数量大且涉及多个栏目，建议先在一个栏目内验证标记和清理的效果，再决定是否推广到其他栏目。
清理废弃页面时，如果该页面曾被外部链接引用，直接删除会让外部链接落空，此时更稳妥的做法是保留 URL 并返回 410，或将其 301 到主题最接近的有效页面。具体选哪种，取决于外部链接的数量和指向意图，而不是统一规则。
