ウェブマスター向け公式ブログ
Google フレンドリーなサイト制作・運営に関するウェブマスター向け公式情報
ウェブマスター ツールのクロール エラーの機能が新しくなりました
2012年4月18日水曜日
クロール エラーは、ウェブマスター ツールで最も重要な機能の 1 つです。本日は、このクロール エラーが改善され、さらに便利になりましたので、お知らせします。
今回の改善により、数多くの新しいタイプのエラーを検出してレポートできるようになりました。それに伴い新しいエラーは、識別しやすいよう「サイト エラー」と「URL エラー」の 2 つに分けて表示しています。
サイト エラー
サイト エラーとは、特定の URL だけでなく、サイト全体に影響するエラーです。たとえば、DNS の解決エラー、ウェブ サーバーとの接続エラー、robots.txt ファイルの取得エラーなどです。これまではサイト エラーを URL 別にレポートしていましたが、URL 固有のエラーではないためあまり意味がありませんでした。実際これらのエラーでは、Googlebot が URL のリクエストをすることすらできません。そこでこれを変更し、サイト エラーはタイプ別にエラー発生率を記録することにしました。また、サイト エラーの頻度が上がり、注意を要するレベルに達した場合にはアラートを送信することも検討しています。
サイト エラーの発生率と発生回数の時系列表示
ほとんどのサイトは、これらのエラーが発生しないのが普通です。最近サイト エラーが発生していないのであれば、これらのセクションを逐一チェックする必要はありません。そこで、緑色のチェックマークを表示して、すべてが正常に稼動していることを一目で確認できるようにしました。
最近サイト エラーが発生していないサイト
URL エラー
URL エラーは、特定のページにのみ関係するエラーです。つまり、Googlebot がその URL をクロールしようとして DNS を解決し、サーバーに接続し、robots.txt ファイルを取得して読み込んだ後に、この URL をリクエストしたら問題が発生した、というエラーです。ウェブマスター ツールでは、URL エラーをその原因に基づいていくつかのカテゴリに分類しています。サイトで Google ニュースやモバイルのデータ（CHTML/XHTML データ）を提供している場合、それらのエラーは別のカテゴリで表示されます。
タイプ別 URL エラーの発生回数の時系列表示
少ない方が効果的
これまでのウェブマスター ツールでは、タイプごとに最大 10 万件のエラーを表示していました。これほどの量の情報をすべて消化しようとするのは、消防車のホースの水をすべて飲むのと同じくらい困難だったのではないでしょうか。どのエラーの重要性が高く（たとえばホームページがダウンしている）、どのエラーの重要性が低いか（たとえばある個人サイトからのリンクにタイプミスがある）を識別する方法も用意されていませんでした。10 万件のエラーを効率的に確認する手段、たとえば並べ替えや検索、「修正済み」のマークを付ける機能も用意されていませんでした。新バージョンのクロール エラー機能では、最も重要なエラーを強調することに重点を置きました。最も重要と思われるエラー、対処する必要のあるエラーが、カテゴリごとに 1,000 件ずつ表示されます。これら上位 1,000 件のエラーは並べ替えたり検索したりでき、修正済みのマークを付けたり、詳細を表示したりすることもできるようになっています。
どの列でもエラーをフィルタリング/並べ替え可能
サイトによっては、特定のタイプのエラーが 1,000 件を超えるかもしれません。その場合でも、そのタイプのエラーの総数を確認したり、過去 90 日間の履歴データをグラフで表示したりすることは可能です。1,000 件のエラーの詳細と累計エラー数だけでは不十分という場合に備え、API を使ってプログラム的にアクセスし、すべてのエラーをダウンロードできるようにすることも検討しています。
また、robots.txt によってブロックされたページのリストも削除しました。この情報が robots.txt ファイルによる問題を診断する際に役立つこともありますが、大抵の場合はサイト運営者が「意図的に」ブロックしたものです。[クロール エラー]は緊急性の高いエラーを重点的に確認するための項目に特化させるため、robots.txt でブロックされた URL の情報は近日中に [サイト設定] の [クローラのアクセス] に移設する予定です。
詳しい情報を手に入れる
エラー リストの個々の URL をクリックすると、詳しい情報が記載されたウィンドウが表示されます。このウィンドウでは、その URL を最後にクロールしようとした日時、最初に問題が通知された日時、そのエラーの簡単な説明などを確認できます。
URL ごとのエラーの詳細
このウィンドウでは、エラーの原因になった URL のリンクをクリックすることで、実際にアクセスするとどうなるかを試すことができます。他にも、エラーに「修正済み」のマークを付けたり（後ほど詳しく説明します）、エラー タイプのヘルプ コンテンツを見たり、その URL を含むサイトマップを生成したり、その URL にリンクしている他のページを確認したりできます。また、Googlebot に今すぐ URL を取得させて、詳しい情報を入手したり、正しく修正できているかどうかを確認したりすることもできます。
特定の URL にリンクしているページの一覧
エラーに対処する
新バージョンのクロール エラー機能で最も注目してほしいのが、重要なエラーに重点を置いて先に修正できる点です。エラーをランク付けして、対処が可能なエラーほど優先順位リストの上位に表示されるようにしました。対処可能なエラーとは、たとえばサイト内のリンク切れの修正、サーバー ソフトウェアのバグの修正、リンク切れの URL を除去するサイトマップの更新、ユーザーを実在するページに移動させる 301 リダイレクトなどです。ランク付けは、その URL がサイトマップに含まれているか、その URL へのサイト内またはサイト外からのリンクがいくつあるか、その URL への検索トラフィックが最近発生したかなど、さまざまな要因に基づいて行われます。
エラーの修正が完了したら、Googlebot にその URL を取得させることで、正しく修正できているかどうかを確認できます。
フル アクセス権のあるユーザー
であれば、エラーに「修正済み」のマークを付けることもできます。マークを付けると、そのエラーがリストから削除されます。修正済みのマークを付けたエラーは、URL を再クロールして同じエラーが発生しない限り、再びエラー リストの上位に表示されることはありません。
エラーを選択し、修正済みのマークを付ける
新しいクロール エラー機能にはさまざまな工夫を凝らしてあります。皆様に「これは便利」と感じていただけることを願っております。この記事に関するコメントやご意見・ご感想は、
ウェブマスター ヘルプフォーラム
までお寄せください。
Written by Kurt Dresner, Webmaster Tools team
Original version:
Crawl Errors: The Next Generation
ラベル
+1 ボタン
2
AMP
11
API
3
App Indexing
8
CAPTCHA
1
Chrome
2
First Click Free
1
Google アシスタント
1
Google ニュース
1
Google プレイス
2
Javascript
1
Lighthouse
4
Merchant Center
8
NoHacked
4
PageSpeed Insights
1
reCAPTCHA v3
1
Search Console
101
speed
1
イベント
25
ウェブマスターガイドライン
57
ウェブマスタークイズ
2
ウェブマスターツール
83
ウェブマスターフォーラム
10
オートコンプリート
1
お知らせ
69
クロールとインデックス
75
サイトクリニック
4
サイトマップ
15
しごと検索
1
スマートフォン
11
セーフブラウジング
5
セキュリティ
18
ダイナミック レンダリング
1
データー ハイライター
2
ハッキング
19
ハングアウト
2
ビデオチュートリアル
7
フィードバックとコミュニケーション
1
プロダクトエキスパート
1
マルウェア
9
モバイル
2
モバイルサイト
54
リッチカード
2
リッチスニペット
12
リッチリザルト
4
画像
3
画像検索
2
検索エンジン最適化
13
検索結果
85
構造化データ
25
国際化
4
再審査リクエスト
9
初級者向け
160
上級者向け
203
中級者向け
206
動画
1
アーカイブ
2020
11月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2019
11月
10月
9月
8月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
4月
3月
2月
1月
2016
12月
11月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
8月
7月
6月
4月
3月
2月
1月
2008
12月
Feed
Follow @googlewmc
