所有变体 还值得记住的是，在 Google Search Console 中检查 www 和非 www 的资源是否被阻止。这是那些只倾向于查看他们喜欢用常忽视的事情。 此外，由于 Search Console 中显示的被阻止资源数据是基于 Googlebot 上次抓取每个页面的时间，因此您在检查这两个页面时可以找到其他被阻止的资源。
对于可能较旧或更新不频繁
且不会每天进行爬网（如更受欢迎的网站）的网站尤其如此。 同样，如果您同时拥有移动版本和桌面版本，您将需要确保两者都不会阻塞任何资源。这对于移动版本尤其重要，因为它会影响每个页面是否获得适合移动设备的标签以及移动搜索结果中的排名提升。
如果您根据语言和位置
提供不同的页面，您还需要检查每个页面。不要只 电话号码数据 检查“主要”版本并假设整个网站都很好。在同一网站的其他变体中发现惊喜并不罕见。至少，检查每种语言和位置的主页。 WordPress 和阻止 Javascript 和 CSS 如果您在基于 WordPress 的网站上使用“Wordpress SEO”类型插件之一，则您很可能会因为该插件而阻止 Javascript 和 CSS。
它曾经是某些人阻止
wp-admin/ 文件夹中的所有内容的“开箱即用”默认设置之一。 当适合移动设备的算法发挥作用时，由于这些管理页面没有单独索引，因此大多 概念在公司内部的重要性 数 WordPress 用户保持机器人块完好无损。但这个新的 Google 警告确实要求所有与 WordPress 相关的 JavaScript 和 CSS 都被解除阻止，如果你阻止 JavaScript 和 CSS，Google 会将其显示为错误。
是流行的 Yoast SEO
插件（以前称为 WordPress SEO）的创建者，他还建议解锁 WordPress 中的所有 JavaScript 和 CSS，包括 /wp-admin/ 文件夹。 第三方资源 具有讽刺意味的是，谷歌正在标记第三方 JavaScript，这意味着 JavaScript 托管在第三方网站上，并从每个网页调用。
是的这包括 Google
自己的 Google AdSense JavaScript。 最初，谷歌建資料庫數據 议网站所有者联系这些第三方网站，要求他们解锁正在使用的 JavaScript，以便 Googlebot 可以抓取它。然而，这样做的网站管理员并不多。
他们觉得这不是他们的工作
尤其是当他们无法控制第三方网站阻止抓取的内容时。 谷歌后来表示，他们并不担心第三方资源，因为网站管理员缺乏控制权。因此，虽然它可能出现在被阻止的资源列表中，但他们实际上正在寻找网站所有者可以通过自己的 robots.txt 进行控制的 JavaScript 和 CSS 的 URL。