IT之家11月3日消息，圣地亚哥一名创作者原本希望有更多人访问自己的网站，结果她迎来的不是访客，而是Meta爬虫带来的55万余次访问，如今她只能手忙脚乱地维持网站正常运转。

儿童绘本作家、插画师切尔西·保卢斯（ChelseaPaulus）向BusinessInsider表示，这台自动访问程序耗尽了网站主机资源，她不得不和服务商一起排查故障。

“我从来没有遇到过这种情况，”保卢斯说，“哪怕我懂一些技术，这周也过得心力交瘁。”

保卢斯经营这份事业已有十年，去年转为全职创作者。此前她有科技和网页设计从业背景，所以流量异常暴涨时，她很快察觉到不对劲。

“我不认为这是Meta蓄意发起的恶意攻击，”保卢斯说，“但小微企业主需要知道这类风险，并且要有可用工具来阻挡爬虫。”

艰难维持网站在线

10月24日，她收到主机服务商SiteGround的邮件预警：分配给她的CPU资源已经用掉80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。

保卢斯说，周一她查看网站安全面板，发现每秒有好几次访问请求涌入。

“我打开WordFence，屏幕上每秒都在不断刷新访问记录。”保卢斯说，“在WordFence里点开详情可以看到IP地址，查询之后发现，这个IP归属Meta位于达拉斯的节点。”

访问程序的标识名称为“MetaExternalAgent”，主机服务商SiteGround的工作人员后来也确认了这一点。

根据Meta开发者页面说明，MetaExternalAgent会在全网抓取内容，用途包括基础大模型训练、直接收录内容以优化产品。

保卢斯偶尔投放Meta广告，之前也见过Facebook爬虫访问，但如此大的访问量是第一次碰到。

“我修改了robots.txt文件，也配置了防火墙，但这些规则生效往往需要24小时，而我需要立刻拦住爬虫。”保卢斯说，“所以我联系了主机商。”

“服务商给了我一段代码，加到网站的隐藏配置文件里。”她补充道，“普通建站者一般不会去碰这类文件，但这是当时唯一能挡住爬虫的办法。”

但这个办法只是临时生效。到本周中旬，另一款名为“MetaWebIndexer”的Meta爬虫又来了，直接把主机资源占用拉满。

据IT之家了解，Meta开发文档将MetaWebIndexer定义为网页爬虫，作用是浏览网页、优化MetaAI给用户返回的搜索结果质量。

事情仍没有妥善解决

Meta发言人周一表示，网站运营方有权管控爬虫行为，并引导大家查阅《Meta网页爬虫开发者文档》，了解各类爬虫的用途。

“和很多企业一样，Meta出于多种目的使用网页爬虫。网站管理者可以通过robots.txt这类工具，设定我们爬虫和站点的交互方式。”Meta发言人说，“我们公开提供爬虫对应的robots.txt配置指引，并且尊重站点所有者设置的规则。”

保卢斯和SiteGround的邮件截图显示，服务商称其“服务器侧防护”已经在限制爬虫请求。

截至周一，保卢斯的网站依旧不稳定。她只能删掉Instagram主页里的网站链接，避免真人访客叠加爬虫流量，导致网站彻底宕机。

保卢斯无力花钱升级流量配额——爬虫不是客户，不会带来任何收入。目前也没有法律禁止AI爬虫访问公开可浏览的网站。

她还在尝试Cloudflare的人机验证工具拦截爬虫，该工具目前免费。

“Meta应当设置约束机制，避免这类事故重演。”保卢斯说，“试想如果不受约束的AI爬虫持续这样，Cloudflare这类服务商还能一直免费提供防护吗？”

她还说：“如果这类事情频发，小微企业最终只能多花钱，要么升级资源配额，要么购买防护服务。”