云服务公司 Fastly 的报告显示，AI 爬虫给开放 Web 带来了沉重的负担。访问网站的 AI 机器人流量中 AI 爬虫占八成，剩余二成是 AI 抓取程序——用户请求大模型集成训练数据日期之后的信息时抓取程序会按需要触发。Fastly 的监测显示 ...