海外多家主流媒体网站对苹果 AI 内容抓取机器人 Applebot 说不

《连线》（Wired）昨日（8 月 29 日）发布博文，报道多家主流媒体向苹果的数据抓取机器人 Applebot 说不。

报道称多家主流媒体都选择屏蔽苹果的 Applebot 抓取机器人，其中包括：

• Facebook

• Instagram

• Craigslist

• Tumblr

• 《纽约时报》

• 《金融时报》

• 《大西洋月刊》

• Vox Media

• USA Today

• 以及《WIRED》的母公司康泰纳仕（Condé Nast）

  
  

苹果 Applebot 最早于 2014 年 11 月被曝光，于 2015 年 5 月正式披露。

而苹果 Applebot-Extended 是 Applebot 的增强版，过去十年来苹果一直在抓取网站内容，用于改进 Siri 和 Spotlight 搜索等。

《连线》报道，大部分主流出版商都使用 robots.txt 文本来阻止苹果抓取，在上周展开的两项研究中，约有 6% 至 7% 的高流量网站屏蔽了苹果公司的搜索工具 Applebot-Extended。

Ben Welsh 上周展开的后续研究显示，在测试的网站中，有 25% 屏蔽了苹果的 Applebot-Extended。

Welsh 的研究发现，OpenAI 的机器人被 53% 的新闻网站拦截，而谷歌的 Google-Extended 机器人被 43% 的网站拦截。

《连线》的结论是，虽然网站可能并不关心苹果智能是否在搜索它们，但拦截率低的主要原因是，苹果的人工智能机器人相对知名度不高，没有引起公司的重视。