Google では数年にわたって、従来の携帯電話（フィーチャーフォン）とスマートフォンのコンテンツに対して別々のクローラーを使用してクロールとインデックス登録を行ってきました。こうしたモバイル固有のクローラーはすべて Googlebot-Mobile と呼ばれていました。しかし、フィーチャーフォンとスマートフォンでは端末機能がかなり異なっており、フィーチャーフォンのクロールやインデックス登録をブロックするつもりが誤ってスマートフォンのクロールやインデックス登録をブロックしてしまったという報告もウェブマスターから寄せられていました。この曖昧さにより、一部サイトのスマートフォン向けコンテンツのインデックス登録や、それらのサイトがスマートフォン向けに最適化されていることの認識が難しくなってしまっていました。
スマートフォン用の新しい Googlebot
状況を明確にし、ウェブマスターの皆様がより的確に管理できるようにするために、Google ではスマートフォン用の「Googlebot-Mobile」ユーザーエージェントの使用を 3～4 週間後に中止します。それ以降、スマートフォン用のユーザーエージェントはシンプルに「Googlebot」となりますが、ユーザーエージェント ストリングのどこかに「mobile」という単語は引き続き残ります。新旧のユーザーエージェントは次のとおりです:
スマートフォン用の新しい Googlebot ユーザーエージェント:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) (2015 年 8 月更新)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
まもなく使用を中止するスマートフォン用の Googlebot-Mobile ユーザーエージェント:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
この変更が影響するのはスマートフォン用の Googlebot-Mobile のみです。標準の Googlebot のユーザーエージェントには変更ありません。残りの 2 つの Googlebot-Mobile クローラーのユーザーエージェント ストリングでは引き続きフィーチャーフォン端末が参照されます。これらのクローラーは次のとおりです:
標準の Googlebot ユーザーエージェント:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
フィーチャーフォン用の 2 つの Googlebot-Mobile ユーザーエージェント:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
クロールとインデックス
ユーザーエージェントのアップデートでは次の点にご注意ください。スマートフォン クローラー用の新しい Googlebot では、Googlebot-Mobile ではなく Googlebot の robots.txt、robots メタ タグ、HTTP ヘッダーの指定が適用されます。たとえば、新しいクローラーが導入されている場合、以下の robots.txt の指定によって、スマートフォン用の新しい Googlebot ユーザーエージェントと標準の Googlebot ユーザーエージェントによるすべてのクロールがブロックされます:
User-agent: Googlebot
Disallow: /
以下の robots.txt の指定によって、Google のフィーチャーフォン クローラーによるクロールがブロックされます:
User-agent: Googlebot-Mobile
Disallow: /
Google の分析では、このアップデートにより、ウェブマスターはコンテンツのクロールとインデックス登録をより管理しやすくなる一方で、URL に及ぼす影響は 0.001% 未満という結果になりました。ご不明な点がありましたら、以下をご覧ください:
Posted by Zhijian He, Smartphone search engineer
Original version: A new Googlebot user-agent for crawling smartphone content
