robots.txtとは？SEOへの効果と記述方法について
SEO対策のひとつとして、クローリングの最適化に効果のあるrobots.txt（ロボットテキスト）というものがあります。
本記事では、robots.txtとは何なのか、自分の運営するWebサイトには必要なのか、どういった効果が得られるのかなど、robots.txtについて本当に知りたいことをご紹介します。
目次
robots.txtとは
robots.txtという言葉を初めて知ったという方にとっては、「一体何？」と疑問に思ったことでしょう。robots.txtは、簡単に言ってしまえば『robots=ロボット』の『txt=テキスト』ということです。
基本Webサイトを閲覧する人は見ることがありません。ここで言うロボットとは、『クローラー』と呼ばれるGoogleなどの検索エンジンが、インターネット上のWebサイトを見付ける為に使っているシステムのことです。
このクローラーがWebサイト内を定期的に巡回して、「このページはどんなユーザーに必要な情報なのか」ということや、「どれくらいユニークで役に立つ情報なのか」ということを判断する情報をインデックスして（目印をつけて）いくのです。
つまり、robots.txtとはクローラーへのテキストです。
そしてクローラーに自分のWebサイトを上手くクロールしてもらう為に、「ここから先はアクセスしないで下さい。」、「ここはアクセスしてもいいですよ。」といった指示を与えることが、robots.txtを書く目的なのです。
robots.txtのSEO効果とは
robots.txtの役割
では、なぜクローラーに指示を与えるのでしょうか。基本的にrobots.txtはクローラーの行動を制限するために使われます。これは、制限することによってクロール最適化を図るSEOの内部施策の1つです。
クローラーには、システム上クロールの頻度や一回のサイト内クロールで訪れるページに上限があります。これを一般的にクロールバジェットと呼びます。クロールバジェットは、サイトの信頼性やユーザーにもたらす価値の高さなど、様々な要素によって独自のプログラムによって決まります。
上記の通りクロールバジェットには上限があるため、本来価値があり発見されるべきコンテンツが、クローラーに発見されない、良質なコンテンツのクロール頻度が下がり本来コンテンツの持つ価値が評価されない、といった可能性が出てきます。
それをできるだけ防ぐためにrobots.txtを使ってクロールに制限をかけ、コンテンツがインデックスされやすくすることがrobots.txtを記述する意味であり、それを理解してrobots.txtを運用することが効果的なSEO対策を打つことに繋がるのです。
Webサイトの中には、ユーザーにとってあまり価値を感じないページもあるでしょう。システム上必須だが、情報の価値があまりないページや、検索エンジンにあまり評価されないページです。サイト内検索の検索結果ページや、広告のリンク先ページ（LP）などがそれに当たります。
検索結果ページは検索によって無数にURLが自動生成されてしまい、サーバーに多大な負荷を与えてしまう可能性もあります。そのようなことが考えられる場合はrobots.txtを使って制御したほうが良いでしょう。また、広告のリンク先ページとなるLPは、サイトSEOに寄与することがありません。
こういったページにバジェットを割いてしまうのはもったいないのです。
SEOをより効果的に上げるために
クローラーの流入経路は主に被リンクからの流入です。そのため、同じサイト内でも良質で多くの被リンクを獲得しているページはクロール頻度が多くなります。
そして、一度訪れたサイトは内部リンクを辿ってクロールされます。当然、重要なページへの内部リンクを多く貼ればクロール頻度は上がり、そのページの検索順位の上昇も狙うことができます。
クローラーの傾向を知り、robots.txtを効率良く使用して効果的なSEO結果を獲得しましょう。
robots.txtの書き方
説明したきた通り、robots.txtとはクローラーへのテキストです。本質的にテキストファイルなので、自サイトへのファイルアップローダーとテキストエディタがあれば何の問題も無く導入できます。
robots.txtへ記述すべき内容
robots.txtへ記述すべき内容は大きく分けて4つあります。
- どのクローラーへの指示なのか
- 制限する場所
- 制限しない場所
- サイトマップ
robots.txtの表記方法
表記の方法は以下の通りです。
- User-agent: →どのクローラーへの指示なのか
- Disallow: →制限する場所
- Allow: →制限しない場所
- Sitemap: →サイトマップ
AllowやSitemapは必須の記述ではありません。自分の用途に合った記述をしましょう。それでは記述内容に分けて解説していきます。
User-agentの記述
クローラーごとに名前があり、個別に指示を分けることができます。Googleのクローラーだけで『Googlebot』『Googlebot-image』など数多くあります。特別なことがない限り特定のクローラーを指定することはありません。クローラー全てに指示を出す[User-agent:*]の表記で対応可能です。
Disallowの記述
クローラーのアクセス制限をする場所を、ディレクトリ単位、ページ単位、ブロック単位など多くの指定方法があります。
| 制限したい場所 | 表記 | 注意点 |
|---|---|---|
| サイト全体 | / | |
| ディレクトリとその中身 | /example/ | /は必須 |
| ページ | /example.html | |
| Google画像検索から削除 | /images/example.jpg |
Allowの記述
これはあまり使うことがありません。Disallowで制限した場所の中で特定の部分のみクロールさせたい場合に使います。
Sitemapの記述
クローラーにサイトマップを読み込んでもらうことで、サイトへの理解を深めてくれます。robots.txtの記述に必要というわけではありませんが、SEOを考えるならば記述しておくべきでしょう。
robots.txtの使用例
複数の指定をいくつもする場合は、改行して表記しましょう。同じ段落での表記だと、クローラーが指示を間違って読み込んでしまいます。
例えば、全てのクローラに『/example』以下のディレクトリと、『/example-this』以下のディレクトリへのアクセス制限をかけ、『/example/rain.html』のページと『/example/tree.html』のページのみクロールしてもらいたいとします。
その場合、
User-agent:*Disallow: /example-that/
Disallow: /example-this/
Allow:/example-this/rain.html
Allow:/example-this/tree.html
Sitemap:https://www.example.com/sitemap.xml
と、なります。
表記を間違ってしまうと機能を果たしませんので、ルールに則って記述しましょう。後ほど書きますが動作確認ツールもありますのでうまく使いましょう。
robots.txtは短時間で大きなSEO成果を得ることができるツールですが、間違った使い方をしてしまうと検索エンジンからの評価が下がってしまうことや、気付かないうちにクローラーが巡回しないディレクトリ下にコンテンツをアップしてしまい、全くインデックスされないという事態が起こってしまいます。
作成したrobots.txtの使い方が間違った使い方になってしまっていないかをよく確認しましょう。
robots.txtの動作確認方法（2019年５月時点）
Google Search Consoleでは、robots.txtファイルのテストツールを提供しています。Google内ではrobots.txtテスターという名称です。robots.txtテスターを使えば、サイトアップロード前にrobots.txtの動作確認が可能です。先にアップロードせず、一度robots.txtテスターで自分のテキストで動作に不備がないかを確認することが大事です。
Google Search Consoleは、現在新バージョンと旧バージョンの2種類あり、今回使いたいrobots.txtテスターは新バージョンにサポートされていません。
Google Search Consoleでの確認手順
旧バージョンのGoogle Search Consoleにアクセスします。左サイドバーに『クロール』という項目があり、その中の『robots.txtテスター』をクリックします。
すでにrobots.txtがアップロード済みの方は、既存のrobots.txtが表示されているはずです。新しいrobots.txtをテストする場合は、それが邪魔になるので削除してしまいましょう。ここで操作してもサイト内のrobots.txtファイルは削除されませんので安心してください。
空のテキストエディタに、今回テストしたいrobots.txtの記述内容を入力します。
入力が完了したら、下のURL記入欄にアクセステストしたいURLを打ち込みます。テキスト自体に問題がある場合はエラーが表示されるのでエラーを直します。問題がなければ赤いテストボタンを押します。そうすると、テストボタンにしっかりブロックされたかどうかが表示されます。
確認が終了し問題がなければ送信ボタンでローカル環境へダウンロードして、ファイルアップローダーでサーバーへアップロードしましょう。
それが終われば、あとはGoogleに変更内容を送信ボタンで送信し、robots.txtの導入は完了です。数日後にはrobots.txtが反映されています。
robots.txtとnoindexの違い
robots.txtと似たような効果をもたらすことができる「noindex」というものがあります。noindexとrobots.txtはもたらす効果こそ似ていますが、運用方法からプロセスまで全く違います。
noindexはインデックスされませんが、ページ内のクロールはするので内部リンクを辿り別ページでクロールを続行させることができます。
それぞれの効果をしっかり理解し、適切に使うようにしてください。
おわりに
robots.txtがどういった役割を果たすのかお分かりいただけたでしょうか。
robots.txtを活用したSEO対策の効果は、中々可視化することが難しいでしょう。しかし、良質なコンテンツを配信し続けている方にとっては、確実に効果の出るSEO対策です。しかしその効果を発揮させるためには、まずはユーザーから必要とされるコンテンツを発信し続ける必要があることを理解しておきましょう。