Semalt解释了为什么应该阻止Bot和网站抓取工具

可以肯定地说,网站上出现的许多视图来自非人工和非真实的来源,这是不可行的,因为如果您想看到自己的网站一生都在增长,就必须摆脱它。如果您认为漫游器流量良好且可靠,那么您就犯了一个大错误,因为它可能导致Google停用您的AdSense帐户。大多数情况下,这些机器人在Google Analytics(分析)中都是人流量可见的,但几个月前情况并非如此。如今,小型网站所产生的流量中有70%以上来自机器人和虚假来源。 Semalt专家Max Bell警告您,僵尸程序总是试图以多种方式进入您的站点,并且您可能无法摆脱它们。

好机器人

大量访问您网站的漫游器仅是虚假的和无用的。即使它们对您的网页很有用,但数量很少。例如,Google本身使用一些好的机器人来在线发现新内容。几乎所有的搜索引擎都使用好的bot来识别文章的质量。他们确定质量的方式已经改变,现在他们诉诸于使用大量的软件服务。一群人跟随链接,从一个站点跳到另一个站点,并对新的和更改的内容编制索引。 Google漫游器非常复杂,具有可控制其行为的深层规则。例如,链接上的NoFollow命令会使它们无效,并且对于Google bot而言是不可见的。

坏机器人

不良的漫游器是那些破坏您的网站且无法带来任何收益的漫游器。它们被有意地搜索出来并自动建立索引。您的内容会同时显示给人类和机器人,而忽略其质量和真实性。不良的漫游器会忽略漫游器指令,并且不使用IP块来维护网页的质量。这些漫游器的最大问题之一是,内容难以索引,并且一直对公众隐藏,同时仍对可能访问您的文件以破坏系统的黑客开放。也有垃圾邮件机器人,它们可能会破坏您网站的整体性能。他们用预定义的消息填充您的网站,使会员营销人员感到难过。

您应该阻止机器人吗?

如果您不断收到来自优质机器人的视图,则可能不需要阻止它们。但是,如果您收到来自不良机器人的视图,则可以考虑将其阻止。您应该屏蔽Googlebot,该站点将从搜索引擎结果中删除您的网站。另一方面,您绝对应该阻止水龙头。如果您意识到要保护您的站点免受DDOSing的侵扰,则有必要阻止僵尸程序和垃圾邮件发送者的IP地址。永远记住,不良的漫游器永远不会在意您的robot.txt文件,这非常不幸,因为对该文件的保护对于您网站的发展及其整体性能是必不可少的。

mass gmail