Google ウェブマスター向け公式ブログ [JA] : ホスティングプロバイダとウェブマスターの皆様へ

ウェブマスター向け公式ブログ

Google フレンドリーなサイト制作・運営に関するウェブマスター向け公式情報

ホスティングプロバイダとウェブマスターの皆様へ

2012年1月12日木曜日

Google ウェブマスター向け公式ヘルプフォーラム

Googlebot のクロールがブロックされている: これはよく発生する問題で、通常はファイアウォールや DoS 攻撃防御システムの設定ミスで発生することが多く、また一部のサイトが採用している CMS（コンテンツマネージメントシステム）が原因で発生することもあります。防御システムはホスティングの要ともいえる要素で、サーバーリクエストの頻度が高い場合には自動的にブロックするよう設定されています。Googlebot はその性質上、人間のユーザーよりも多くのリクエストを実行するため、防御システムが Googlebot をブロックの対象と判断してしまい、その結果ウェブサイトがクロールできなくなることがあります。このような問題が発生していないか確認するには、ウェブマスターツールの Fetch as Googlebot 機能を使用して実際に Googlebot がクロールできているかを確認したり、ウェブマスターツールのクロールエラーにおいて何かアラートが表示されていないかを確認したりしてください。

Google では Googlebot によるクロールをより高度に制御したいウェブマスターの皆さまとホスティングプロバイダ向けに、いくつかのツールや情報を提供しています。これらの対策を実装することにより、クロールの効率も向上します。

robots.txt ファイルや URL パラメータの設定を活用して Googlebot のクロールを制御する方法について、詳細なヘルプ記事を用意しています。
Googlebot のユーザーエージェントを偽装した不正なロボット対策方法については、ヘルプ記事「Googlebot の確認」をご利用ください。
Googlebot のリクエストの速度を変更するには、ウェブマスターツールであなたのサイトを確認し、クロール速度の変更を行ってください。ホスティングプロバイダが IP アドレスの所有権を確認することもできます。

クロールとインデックスに関する FAQ でも様々な情報を提供していますのでぜひご覧ください。

サイトへ接続できない: 上記と似たような問題で、Googlebot（およびユーザー）がウェブサイトにアクセスしようとしても繋がらない場合があります。これには DNS の問題、サーバーの過負荷によるタイムアウトや接続拒否、コンテンツデリバリネットワーク（CDN）の設定ミス、その他多くのエラーが含まれます。Googlebot がこのような問題に遭遇した場合は、ウェブマスターツールで URL にアクセスできないエラーまたはクロールエラーとして報告されます。

無効な SSL 証明書: ウェブサイトの SSL 証明書が有効であるためにはサイト名と一致している必要があります。よく発生する問題としては、有効期限の過ぎた SSL 証明書を使っていたり、サーバー上のすべてのウェブサイトで同じ証明書を使用する設定にしていたりといったサーバー側の設定ミスがあります。このような状況ではほとんどのウェブブラウザーがユーザーに警告を行います。Google もウェブマスターツール経由でメッセージを送信し、ウェブマスターに通知します。この問題を解決するには、ユーザーが目にするウェブサイトのすべてのドメインおよびサブドメインに対して SSL 証明書が有効であることを確認する必要があります。

ワイルドカード DNS: ウェブサイトがすべてのサブドメインリクエストに応答するように設定できることがあります。たとえばウェブサイト example.com を、foo.example.com、made-up-name.example.com、その他すべてのサブドメインに対するリクエストに応答させることができます。

特定の場合ではこれが望ましいこともあります。たとえば、ユーザーが作成したコンテンツを提供するウェブサイトでは、各アカウントにサブドメインを付与することがあります。しかし、別のホスト名で不必要にコンテンツが複製され、Googlebot のクロールに影響を与える可能性もあるため一部のウェブマスターにとっては望ましい状況ではありません。

ワイルドカード DNS の設定に関する問題を最小化するには、ウェブサイトでこの技術を使用しないか、存在しないホスト名に対して成功の応答をしないようにサーバーを設定します。この場合、接続を拒否するか、404 の HTTP ステータスコードを返すようにします。

バーチャルホスティングの設定ミス: この問題では、同じサーバーにホスティングされている複数のホストやドメイン名が、常に 1 つのサイトのコンテンツを返す症状が発生します。つまり、サーバーが複数のサイトをホスティングしていても、リクエスト内容にかかわらず 1 つのサイトのみを返すということです。この問題を調べるには、サーバーが HTTP リクエストの Host ヘッダフィールドに正しく応答しているかを確認する必要があります。

ホスト専用 URL での重複コンテンツ: 多くのホスティングサービスでは、テストや開発用の URL を提供しています。たとえばホスティングプロバイダが http://a.com/ というウェブサイトをホストしている場合、http://a.example.com/ や http://example.com/~a/ などの URL を介してサイトにアクセスできる場合があります。このようなホスト専用 URL は、パスワードで保護するなどして一般ユーザーにアクセスできないようにすることをお勧めします。一方でこういった URL がアクセス可能な場合でも、Google のアルゴリズムはお客様の意図したとおりに URL を取得する場合が多いです。アルゴリズムがホスト専用 URL を選択した場合でも、正しく正規化を行うことでアルゴリズムが取得する URL を指定することができます。

ソフトエラーページ: ホスティングプロバイダの中には、エラーページの表示にエラーのステータスコードの代わりに 200（成功）のステータスコードを使用している場合があります。たとえば「ページが見つかりません」というエラーページが 404 ではなく 200 を返すソフト 404 エラーであったり、「サイトが一時的に使用できません」というメッセージが通常のステータスコード HTTP 503 ではなく 200 を返したりします。Google ではソフトエラーページの検出に努力していますが、アルゴリズムがソフトエラーページの検出に失敗した場合、これらのページがそのままインデックスされてしまいます。これはランキングやクロスドメイン URL の選択で問題が発生する原因となる可能性があります。ステータスコードを確認する方法は簡単です。Fetch as Googlebot などのツールを使用して、サーバーが返す HTTP ヘッダーを確認するだけです。エラーページが HTTP 200 を返した場合、正しい HTTP エラーステータスコードを返すように設定を変更します。また、ウェブマスターツールの診断セクションにあるクロールエラーページで、ソフト 404 の報告がないか確認してください。

コンテンツの変更とフレーム: ホスティングプロバイダによってコンテンツが変更され（一般的には、ページにスクリプトや画像が挿入されます）、驚いたことがあるウェブマスターの方もいるでしょう。また、<frames>や <iframe> を使用してサイトのコンテンツが他のページに埋め込まれて表示されることもあります。ウェブホストによってコンテンツに意図しない変更が行われたかどうかを確認するには、ホストが提供するページのソースコードを確認し、ご自身でアップロードしたコードと比較します。サーバーによるコードの変更は、とても便利な場合もあります。たとえば、サーバーで Google の mod_pagespeed Apache モジュール（英語）などのツールを使用している場合、ページの表示速度を最適化するために縮小コードを返すことがあります。

スパムやマルウェア: 一部のウェブホストやサブドメインサービスが、マルウェアやスパムを広める要因になっている場合があります。Google ではユーザーの保護と検索品質を維持するための措置は、なるべく細やかに対応するようにしていますが、ホスティングされているサイトの大部分がスパムサイトであったり、マルウェアを配布したりしている場合、ウェブホスト全体に対して措置を取る必要が出てくることがあります。マルウェアを制御する助けとして、Google は以下のツールを提供しています。

Safe Browsing Alerts for Network Administrators （英語）: ホスティングプロバイダ向けの情報です。
マルウェアの通知: ウェブマスターツール内にある個別のウェブサイト向けの情報です。
Safe Browsing API について: 開発者向けです。

ウェブマスターヘルプフォーラムWritten by Pierre Far, Webmaster Trends Analyst
Original version: Tips for hosting providers and webmasters

ラベル: クロールとインデックス , 初級者向け , 上級者向け , 中級者向け

ラベル

アーカイブ

2020
- 11月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2019
- 11月
- 10月
- 9月
- 8月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2018
- 12月
- 11月
- 10月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2017
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 4月
- 3月
- 2月
- 1月

2016
- 12月
- 11月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2015
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 5月
- 4月
- 3月
- 2月
- 1月

2014
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2013
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2012
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2011
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2010
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2009
- 12月
- 11月
- 10月
- 8月
- 7月
- 6月
- 4月
- 3月
- 2月
- 1月

2008
- 12月

Feed

Google
Privacy
Terms