AppleBot：苹果有自己的网络爬虫是真的

苹果刚刚在网站上放出了传言已久的“AppleBot”的一些技术细节，证实了传闻已久的苹果有自己的网络信息抓取服务的确是真的。

网络爬虫，或者叫网络信息抓取服务，是指按照一定的规则，自动抓取WWW网上信息的程序或者脚本，是搜索引擎的关键组件。一直以来大家都认为苹果是利用了Bing或者Google等第三方搜索引擎来提供Siri、Spotlight等的搜索服务的。但是去年11月时开发者Jan Moesen发现了有大量的web信息被17.0.0.0/8地址段的爬虫抓取，根据对地址段归属的查询发现这是属于苹果的地址段，再加上苹果又终止了与Google就Safari默认搜索引擎的交易，从而引发了对苹果有自己网络爬虫的猜测。

现在苹果有限公布了这一名为“AppleBot”的网络爬虫的细节，相当于证实了之前的传言：

Applebot是苹果的网络爬虫，用于包括Siri、Spotlight Suggestions在内的产品上。它遵守通常的robots.txt规则并沿用相关元标签。所用地址段为17.0.0.0。

可以看出，苹果的爬虫跟Google的运作方式类似。因为里面提到爬虫指令里面若没有提到Applebot的话将遵循Googlebot指令规则。

目前尚不清楚苹果的网络爬虫启用了多久。同时由于网络爬虫只是搜索引擎的一部分，未必就代表苹果在做自己的搜索引擎。