Apple独自のWebクローラー「Applebot」の運用について、公式の案内ページが公開されました。
このクローラーは、iOSの「Siri」とOS Xの「Spotlight」において、検索を行った際に表示する情報をWebから収集するというものです。
Appleのクローラーなので（どこぞのアジア系検索エンジンとは異なり）お行儀は良いと思いますが、何らかの理由でアクセスさせたくない場合は、robots.txtで弾くとちゃんとそれに従います。robots.txtにApplebotに関する記述がない場合、Googlebotに対する記述に従うようになっています。
- IPアドレスの範囲：17.0.0.0 - 17.255.255.255
- ユーザーエージェント：Applebot
- Source About Applebot
