robots.txt ざっくり手順

robots.txtをGoogleに登録する手順。
すぐにGooglebot等がrobots.txtを認識しない場合がある。

広告


robots.txt テスター

「Search Console」でまず該当サイトを開く。
「クロール」→「robots.txt テスター」。
まずは、公開済みのrobots.txtを表示し、その内容を確認する。
その「公開済みのrobots.txtのページ」は、チェックの度にブラウザ更新が必要。

robots.txtの編集等が必要であることを確認して、新規にrobots.txtを作成しアップする。
上の要領で、ファイルアップ成功をチェック。

「robots.txt テスター」の送信。
3番の「Googleに更新をリクエスト」を送信。
Googlebot等が、新規robots.txtの認識に成功すれば、「robots.txt テスター」のテキストエリアに反映される。

広告


xmlサイトマップ登録

xmlサイトマップのurlをrobots.txtの末尾に記入する。
そのurl記述の上に空行を一行、入れねばならない。

Sitemap: https://~/sitemap.xml

しかし、xmlサイトマップの登録は別に必要なようだ。
「Search Console」で登録可能なので、ついでに登録しておこう。

広告