Google是否尊重网址参数工具?

任何电子商务网站都可能熟悉“ URL参数工具”。SEO长期以来一直使用此功能作为Google Search Console中的功能,以帮助控制其网站的抓取。在此工具中,您会告知Google您不同的URL参数做什么以及Google应该如何抓取它们

(“让Googlebot决定”,“没有URL”等)。Google提供了有关可配置的不同设置以及搜寻命令如何相互交互的大量文档。 

但是,最近Google将该工具移到了模棱两可的“旧版工具和报告”部分。从那时起,我一直想知道这对工具意味着什么。这仅仅是对较旧功能进行分类的一种方法吗?Google是否计划最终将其淘汰?Google还在这里使用命令吗? 

我发现其他有趣的事情是,在查看客户端日志文件时,我们遇到了一些示例,其中Google似乎并未遵守URL参数工具中设置的规则。 

为了了解更多信息,我决定进行测试。我进入了我们的测试站点之一,发现Google正在抓取的URL参数。使用Google的索引覆盖率报告,我可以确认Googlebot正在抓取以下参数:

?cat

?utm_source

?utm_medium

?utm_campaign

?ref

1

6月26日,我继续将这些URL添加到Google的URL参数报告中。我专门指示Googlebot抓取“无URL”。 

2

然后,我等待并监视了Google对网站的爬网。收集了两周的数据后,我们可以看到Google仍在爬网这些URL参数。我们能够找到活动的主要参数是“?cat” URL:

3

进一步缩小,您可以看到在配置了爬网设置之后,这些是经过验证的Googlebot事件,发生于6月27日或更晚: 

4

我们还能够使用Google的URL检查工具来确认“?cat”和“?utm” URL的爬网活动。请注意,新规则生效后,URL如何具有“最新爬网”。 

5

这对SEO意味着什么? 

虽然我们没有看到大量的爬网活动,但这表明Google可能并不总是遵守URL参数工具中的规则。请记住,这是一个较小的网站(大约600页),因此将爬网这些URL参数的规模要比大型电子商务网站低得多。

当然,这并不是说Google总是忽略URL参数报告。但是,在这种特定情况下,我们可以看到情况确实如此。如果您是电子商务网站,建议您不要假设Google如何抓取您的参数并检查日志文件以确认抓取活动。总体而言,如果您希望限制特定

参数的抓取,那么我将首先依靠robots.txt。

参数工具抓取我们


用微信扫一扫

二维码