ウェブマスター向け公式ブログ
Google フレンドリーなサイト制作・運営に関するウェブマスター向け公式情報
クローラとインデックスの制御について詳しい資料を code.google.com で公開しました！
2011年2月2日水曜日
今回は英語の資料となりますが、非常に有益なものですのでご紹介させていただきます。
Google のクローラ（Googlebot）と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。
例えば
robots.txt ファイル内に矛盾した記述がある場合に、Googlebot はどのように処理するのでしょうか？
PDF ファイルがインデックスに登録されるのを防ぐ方法はどうすればいいのでしょうか？
その疑問の答えは、こちらからご覧ください。
Controlling crawling and indexing
（英語）
このサイトでは、robots.txt ファイル、robots メタ タグ、HTTP ヘッダーの X-Robots-Tag ディレクティブ について、サイト所有者の皆さまに役立つ情報がまとめられています。ぜひ、ご活用いただければと思います。また、クローラの働きやインデックスの作成など Google がどのように検索結果を生成しているかについての基礎的な情報は、ヘルプ記事「
Google の基本
」をご覧ください。
ご不明な点がありましたら、お気軽に
ウェブマスター ヘルプ フォーラム
までご投稿ください。
Posted by Jonathan Simon, Webmaster Trends Analyst
Original version:
Controlling crawling and indexing now documented on code.google.com
ラベル
+1 ボタン
2
AMP
11
API
3
App Indexing
8
CAPTCHA
1
Chrome
2
First Click Free
1
Google アシスタント
1
Google ニュース
1
Google プレイス
2
Javascript
1
Lighthouse
4
Merchant Center
8
NoHacked
4
PageSpeed Insights
1
reCAPTCHA v3
1
Search Console
101
speed
1
イベント
24
ウェブマスターガイドライン
57
ウェブマスタークイズ
2
ウェブマスターツール
83
ウェブマスターフォーラム
10
オートコンプリート
1
お知らせ
68
クロールとインデックス
75
サイトクリニック
4
サイトマップ
15
しごと検索
1
スマートフォン
11
セーフブラウジング
5
セキュリティ
18
ダイナミック レンダリング
1
データー ハイライター
2
ハッキング
19
ハングアウト
2
ビデオチュートリアル
7
フィードバックとコミュニケーション
1
プロダクトエキスパート
1
マルウェア
9
モバイル
2
モバイルサイト
54
リッチカード
2
リッチスニペット
12
リッチリザルト
4
画像
3
画像検索
2
検索エンジン最適化
13
検索結果
85
構造化データ
25
国際化
4
再審査リクエスト
9
初級者向け
160
上級者向け
203
中級者向け
206
動画
1
アーカイブ
2019
11
10
9
8
6
5
4
3
2
1
2018
12
11
10
7
6
5
4
3
2
1
2017
12
11
10
9
8
7
6
4
3
2
1
2016
12
11
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
5
4
3
2
1
2014
12
11
10
9
8
7
6
5
4
3
2
1
2013
12
11
10
9
8
7
6
5
4
3
2
1
2012
12
11
10
9
8
7
6
5
4
3
2
1
2011
12
11
10
9
8
7
6
5
4
3
2
1
2010
12
11
10
9
8
7
6
5
4
3
2
1
2009
12
11
10
8
7
6
4
3
2
1
2008
12
Feed
Follow @googlewmc
