📍 WDQWDWQD987AAAAA:216.73.216.15
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9446de0d0f2d.html
📄

网站收录检测，日志中应该核对哪些字段

做网站收录检测时，服务器日志里最该先核对的是能回答三个问题的字段：谁来过、看了什么、结果如何。具体来说，至少要看请求时间、客户端 IP、User-Agent、请求方法、请求 URL、HTTP 状态码、响应字节数、Referer 这八类字段。它们分别对应抓取是否发生、抓的是哪个地址、是否成功返回、以及流量来源。只看访问量或只看状态码都不足以判断收录情况，必须把这几列放在一起对照。

先分清哪些字段直接决定判断结果

日志字段很多，但和收录检测直接相关的其实有限。可以按下面的优先级核对：

• 请求 URL：确认被抓取的是目标页面本身，而不是同路径下的图片、CSS、JS 或参数变体。带 ? 参数的 URL 要和规范地址区分开。
• HTTP 状态码：200 表示正常返回，301/302 表示跳转，404 表示不存在，403 表示被拒绝，5xx 表示服务器出错。状态码决定这次抓取是否有效。
• User-Agent：用来判断访问者是搜索引擎爬虫、普通浏览器还是其他工具。爬虫 UA 可以伪造，所以它只是线索，不是证据。
• 请求时间：用于判断抓取频率和最近一次抓取时间。如果目标页面很久没有被抓取，收录检测就缺少前提。
• 客户端 IP：可以辅助验证 UA 声称的身份。正规爬虫的 IP 段可以查询，但不同搜索引擎的验证方式要分别核对。
• 响应字节数：状态码是 200 但字节数异常小，可能返回的是空页面或错误页，这类情况需要单独排查。
• Referer：能看出访问是从站内、外链还是直接进入，对判断抓取路径有帮助，但很多请求不带 Referer。
• 请求方法：一般是 GET 或 HEAD。HEAD 请求只取头部，不代表页面内容被抓取。

用状态码和字节数组合判断抓取是否有效

单看状态码容易误判。一个 200 响应如果字节数只有几百，很可能返回的是占位页或软 404；一个 301 如果指向的地址又返回 404，收录同样不会发生。可以按下面的条件做初步判断：

1. 状态码为 200，且响应字节数与页面正常大小接近，说明这次抓取拿到了完整内容。
2. 状态码为 200，但字节数明显偏小，需要打开对应 URL 人工确认，可能是空模板或错误页。
3. 状态码为 301 或 302，记录跳转目标，再检查目标 URL 是否返回 200。
4. 状态码为 404 或 410，说明该地址已不可用，应确认是否误删或链接写错。
5. 状态码为 403 或 429，说明请求被拒绝或限流，需要检查防火墙、CDN 或访问频率设置。
6. 状态码为 5xx，属于服务器端问题，优先排查程序或后端服务，而不是继续看收录。

这些判断只说明抓取是否成功，不等于页面一定被索引。抓取成功和进入索引是两件事，日志只能证明前者。

核对爬虫身份时不要只看 User-Agent

User-Agent 可以被任意伪造，所以不能仅凭字符串里出现爬虫名称就认定是搜索引擎。更稳妥的做法是：先用 UA 筛选出疑似爬虫的请求，再用客户端 IP 做反向验证。验证方式是查询该 IP 是否属于对应搜索引擎公布的 IP 段，或者做反向 DNS 解析并核对域名。不同搜索引擎的验证方法不一样，需要分别查各自的官方说明。

如果 UA 声称是某爬虫但 IP 对不上，这类请求不能作为收录检测依据。反过来，IP 对得上但 UA 被改动的情况较少，仍以 IP 验证为主。对于没有公开 IP 段的抓取工具，只能把它当作参考流量，不纳入收录判断。

robots.txt、站点地图和 HTTPS 在日志里的表现

robots.txt 的抓取限制只影响爬虫是否被允许访问，不等于可靠的索引移除。也就是说，即使日志显示某 URL 被 robots.txt 拦截，该页面仍可能因为外链等原因出现在索引里。要确认移除，需要结合页面本身的 noindex 设置和后续抓取记录。

站点地图不保证收录。日志里能看到爬虫请求了 sitemap 文件，只能说明它读取了这份清单，不能说明清单里的 URL 都被抓取或收录。真正要看的是清单中每个 URL 是否在日志里出现过独立的抓取记录。

HTTPS 不保证安全无漏洞，也不直接保证排名。日志里区分 HTTP 和 HTTPS 请求，主要用于确认跳转是否生效、是否存在混合内容或重复抓取。如果同一页面同时有 HTTP 和 HTTPS 的抓取记录，需要检查规范地址和跳转配置。

把字段核对变成可执行的检查步骤

假设你有一个已上线的页面，想确认它是否被抓取过，可以按以下步骤操作：

1. 从日志中筛选出请求 URL 等于目标页面地址的记录，排除图片、脚本和参数变体。
2. 在筛选结果里按时间排序，找到最近一次抓取时间。
3. 查看该条记录的 User-Agent 和客户端 IP，确认是否为真实爬虫。
4. 查看同一条记录的 HTTP 状态码和响应字节数，判断是否返回了完整内容。
5. 如果状态码是跳转，追踪目标 URL 的后续记录，确认最终返回 200。
6. 如果长期没有抓取记录，检查 robots.txt 是否误拦截、页面是否有入口链接、站点地图是否包含该地址。

这套步骤的代价是需要能访问原始日志，并且日志保留时间足够长。如果日志已经被轮转删除，或者服务器不记录 User-Agent 和字节数，就只能退而使用其他检测方式，判断精度会下降。

下一步，先确认你的日志格式里是否包含上述字段。如果缺少 User-Agent 或响应字节数，优先调整日志配置把这些列打开，再做收录检测，否则后续判断会一直缺少依据。