首页 » 最新资讯 » 谷歌将不再支持robots协议的noindex

谷歌将不再支持robots协议的noindex

谷歌已收录,更新于2019年08月02日; 如遇到问题,请留言及时通知站长; 欢迎加入 三生三世,讨论各种问题!

近日,很多站长收到了谷歌发来的信息:请从robots.txt文件中删除noindex。早在72号时,谷歌就发布了申明,将于91号停止对noindex指令的支持,此外谷歌还计划开源robots协议的解析源码。

robotos协议

robots.txt文件规定了搜索引擎抓取工具可以/无法请求抓取您网站上的哪些网页或文件。此文件主要用于使您的网站避免收到过多请求;它并不是一种用于阻止Google访问某个网页的机制。 若想阻止Google访问某个网页,您应使用noindex指令,或者使用密码来保护该网页。如果你不懂robots,或者从来没用过robots协议限制搜索引擎收录你的后台地址,你或许应该好好科普下了。你可以直接点击查看谷歌提供的关于robots协议的更详细的说明

robots解析源码开源

我们随时为您提供帮助:我们开源了C ++库,我们的生产系统使用它来解析和匹配robots.txt文件中的规则。这个库已存在了20年,它包含了90年代编写的代码片段。从那时起,图书馆不断发展; 我们学到了很多关于网站管理员如何编写我们必须覆盖的robots.txt文件和角落案例,并将这些年来我们学到的知识添加到互联网草案中。

你可以点击直接访问谷歌开源的C++语言的robots解析源码

noindex替代指令

谷歌宣布停止支持noindex后,随即给出了几个其他功能相似的指令。

  • meta tags中的Noindex:HTTP响应标头和HTML中都支持,noindex指令是在允许爬网时从索引中删除URL的最有效方法。
  • 404和410 HTTP状态代码:两个状态代码表示该页面不存在,一旦抓取并处理了这些URL,就会从Google索引中删除这些URL。
  • 密码保护:除非使用标记来表示订阅或支付内容,否则将页面隐藏在登录后通常会将其从Google索引中删除。
  • robots.txt中的Disallow:搜索引擎只能索引他们知道的网页,因此阻止网页被抓取通常意味着其内容不会被编入索引。虽然搜索引擎也可以基于来自其他页面的链接索引URL,而不会看到内容本身,但我们的目标是在将来使这些页面不太可见。
  • 搜索控制台删除网址工具:该工具是一种从Google搜索结果中临时删除网址的快捷方法。

其实我想你们也明白了,noindex的作用就是禁止搜索引擎索引某些页面。

后续说明

如果网站根目录下的robots.txt,请尽快删除noindex指令,否则你或许会收到如下类似的邮件哈。

删除noindex通知

文末再给各位分享下typechorobots协议,用于防止搜索引擎爬取后台页面。

支付宝支付
价格: 1.00 元
温馨提示:免登录付款后3天内可重复阅读隐藏内容,登录用户付款后可永久阅读隐藏的内容。 付费可读

这里给各位提供各种谷歌工具教程资源,希望给你一个安稳的家。

发表评论

返回主页看更多
赏杯咖啡给站长 支付宝 扫一扫