互联网机器人是一种在互联网上运行自动化任务的软件应用程序。机器人运行的任务通常很简单,与人类的互联网活动相比,执行速度要高得多。
有些机器人是合法的——例如,Googlebot是谷歌用来抓取互联网并为其搜索建立索引的应用程序。其他机器人是恶意的,例如,用于自动扫描网站软件漏洞并执行简单攻击模式的机器人。
有许多类型的恶意软件会感染最终用户设备,目的是将其纳入僵尸网络。任何被感染的设备都会开始与命令和控制(C&C)中心通信,并可以在攻击者的中央控制下执行自动化活动。
许多威胁行为者正积极参与构建大规模僵尸网络,其中最大的僵尸网络跨越数百万台计算机。通常,僵尸网络会自行发展,例如使用受感染的设备发送垃圾邮件,这会感染更多的机器。
僵尸网络所有者使用它们进行大规模恶意活动,通常是分布式拒绝服务(DDoS)攻击。僵尸网络也可用于任何其他恶意机器人活动,如垃圾邮件机器人或社交机器人(如下所述),尽管规模要大得多。
互联网上活跃着许多类型的机器人,既有合法的,也有恶意的。下面是几个常见的例子。
蜘蛛机器人,也称为网络蜘蛛或爬虫,通过跟踪超链接浏览网络,目的是检索和索引网络内容。Spider下载HTML和其他资源,如CSS、JavaScript和图像,并使用它们来处理网站内容。
如果你有大量的网页,你可以在你的网络服务器的根目录中放置一个robots.txt文件,并向机器人提供说明,指定它们可以抓取你网站的哪些部分,以及抓取的频率。
抓取器是从网站读取数据的机器人,目的是离线保存数据并实现数据的重用。这可能采取抓取网页全部内容或抓取网页内容以获取特定数据点的形式,例如电子商务网站上产品的名称和价格。
网络抓取是一个灰色地带——在某些情况下,抓取是合法的,可能会得到网站所有者的许可。在其他情况下,机器人操作员可能违反了网站使用条款,甚至更糟——利用抓取来窃取敏感或受版权保护的内容。
垃圾邮件机器人是一种互联网应用程序,旨在为垃圾邮件列表收集电子邮件地址。垃圾邮件机器人可以利用电子邮件地址的独特格式,从网站、社交媒体网站、企业和组织收集电子邮件。
在攻击者收集了大量电子邮件地址后,他们不仅可以使用这些地址发送垃圾邮件,还可以用于其他邪恶目的:
•凭证破解——将电子邮件与常用密码配对,以获得未经授权的帐户访问权限。
•表单垃圾邮件——自动将广告或恶意软件链接等垃圾邮件插入热门网站的表单中,通常是评论或反馈表单。
除了对受垃圾邮件活动影响的最终用户和组织造成的直接损害外,垃圾邮件机器人还可以阻塞服务器带宽并增加互联网服务提供商(ISP)的成本。
机器人在社交媒体网络上运行,用于自动生成消息、倡导想法、充当用户的追随者,以及作为虚假账户来获得追随者。据估计,9-15%的推特账户是社交机器人。
社交机器人可用于渗透人群,并用于传播特定的想法。由于没有严格的规定来管理他们的活动,社交机器人在网络舆论中发挥着重要作用。
社交机器人可以创建虚假帐户(尽管随着社交网络变得越来越复杂,这变得越来越困难),放大机器人操作员的信息,并产生虚假的关注者/点赞。很难识别和缓解社交机器人,因为它们可以表现出与真实用户非常相似的行为。
下载机器人是可用于自动下载软件或移动应用程序的自动化程序。它们可用于影响下载统计数据,例如在流行应用商店获得更多下载,并帮助新应用登上排行榜榜首。它们还可以用于攻击下载网站,作为应用层拒绝服务(DoS)攻击的一部分,创建虚假下载。
票务机器人是一种自动购买热门活动门票的方式,目的是转售这些门票以获利。这种活动在许多国家都是非法的,即使法律没有禁止,也会让活动组织者、门票销售商和消费者感到恼火。
票务机器人往往非常复杂,模仿人类购票者的行为。在许多票务领域,自动机器人购买的门票比例在40-95%之间。