第六回SEO女子コラム「インデックスをしてもらおう！」

sitemapを導入しよう！！

担当者：きょん

トップバッターの私が説明するのはサイトマップと呼ばれるファイルについてです！

サイトマップとはその名の通り、サイトの地図のようなものです。
サイト内のリンクをまとめており、ユーザーや検索エンジンに分かりやすくサイト内のページを伝えることができます。SEO的にも重要となりますっっ

私達がよく目にするサイトマップは、サイトを使うユーザーに向けたものである【HTMLサイトマップ】と呼ばれるものです。

例えば猫のサイトがあった場合、HTMLサイトマップはこんな感じになります。
一般的にカテゴリ別で整理され、目的のページを探しやすくなっています。
ユーザー向けとはいいましたが、実はユーザーだけでなくロボットも巡ってないページを探すために訪れることもあるので、インデックスされる手助けとなります。

こちらが今回の本題です。
HTMLサイトマップがユーザーに向けられたものであるとしたら、コチラで紹介する【XMLサイトマップ】は検索ロボットに向けたものです。
これを設置することによって、検索エンジンにサイト内のページを漏れなく伝えることができます。特に、新しいページなどは通常ロボットが訪れるまで時間がかかりますが、サイトマップに記述することにより存在を知ってもらえてインデックスを早めることができるのです。
作成方法は「サイトマップ」と検索すれば自動で作ってくれるツールが沢山出てくるので、初めは自分が使いやすいものを選ぶといいかもしれませんね！(自分で作ることも勿論可能です)
Googleロボット向けの場合はサイトマップにも色々と種類があり、動画や画像のコンテンツ用のものも存在していますが、今回は一般的なサイト用のものをシンプルに紹介したいと思います。

まずはバージョンの記載とその終了タグの中にロボットに来てもらいたいURLを記述していきます。

そして、中に入れるURLとタグがこんな感じ☆

URLが3つの場合のサイトマップはこうなります。
サイトマップの基本的な形はこんな感じです。

このままでもサイトマップとして機能しますが、付加情報としてオプションタグを使って『優先順位』『最終更新日』『更新頻度』を追記することも出来ます。

・優先順位は、<priority>タグを使いサイト内での(重要度が低い)0.0⇔1.0(重要度が高い)間で値を指定します。トップページを1.0にして大きなカテゴリは0.8とかにしているサイトをよく見かけます。
・最終更新日は<lastmod>タグを使います。ロボットが最新のページを優先的に見てくれることもあるみたいです。
・更新頻度は<changefreq>タグを使うのですが、今回の場合はweekly(他にもバリエーションはありますよ!)なので1週間毎の更新頻度というのを目安にされてます。
これらは、あくまでオプションであり、ロボットも「ふーん」程度の認識っぽいので(笑)そんな神経質に設定しなくても大丈夫みたいです。

かなりざっくり書きましたが、第一回目のコラムにも記述したとおり、XMLベースなので他にも記述の決まりなど色々とあります。しかし長くなるので今回は省きます(笑)ファイルの形式なども決まっているのですが、それはまたの機会に！

本来はサイトマップがなくても、サイトの内部リンクが正しく設置されていてコンテンツが充実しており、まめに更新しているサイトであればロボットはしっかりと回ってきてくれます。サイトマップはあくまでも補助なのかもしれませんね。
更には、サイトマップに全てのURLを記述をしても、魅力的なコンテンツがないとロボットはインデックスしてくれません。
サイトマップの作成に時間を費やすよりもロボットやユーザーに「このサイトにまた来たいな♪」と思わせることが大事なのです！

robots.txtとは？

担当者：おかもっさん

今回私はSEOでも基礎となるrobots.txtの役割りや記述の仕方等、基本的な事を解説して行こうと思います。
ちなみに私は初めてrobots.txtを見た時「何だこの不可解な暗号は…」と思ったのを未だ鮮明に覚えています。（今も勉強中ですがね！）

さてrobots.txtについて書く前に検索エンジンの仕組みを知っておきましょう。
検索エンジンは、ロボット（クローラー）が定期的にサイトを巡回して評価・ランキング付けしていくという仕組みになっています。
(詳しくはここを見てね！）
ではそのロボットはサイトのどこから見てくれるのかというと、それがrobots.txtなんです。
ロボットはそのサイトにまずrobots.txtが有るかどうかを探し、その中からサイトマップを見つけてサイトの調査に入るのです。
そしてこのrobots.txtはロボットに指示を出すことが出来ちゃうんですよ。（賢い！）例えばサイトマップの場所を示してあげるとか、検索エンジンに表示させたくないページやファイルへの侵入を拒否したり諸々…。
そんなものをロボットに対して伝えることが出来るのがrobots.txtがなのです。

内部SEO始めたての時は実際に記述しようとしても、どういう書き方がいいのか？とわからなくなったもんです…
基礎となる記述例はこちらのような形になります。
例1

User-Agent: *
Sitemap : http://beginner-seogirl.com/sitemap.xml
Disallow: /okamosan/

上からUser-Agent、Sitemap、Disallowと記述します。
User-Agentでブラウザやクローラーの指示をします。特に特定のロボットへ向けた指示がない場合は「全てのロボット」と言う意味で「アスタリスク(*)」を書いてあげましょう。
User-Agentの下にSitemapのファイルの場所をURLで指定しておきます。
（Sitemapファイルについてはきょんさんに解説してもらっています！）
そしてDisallowにはアクセスを拒否したいファイルを記述します。無ければ特に記述する必要はありません。
記述としては「Disallow: /ディレクトリ/ファイル名」等など、拒否したいページによって異なります。
逆にインデックスしてもらいたいファイルは「Allow: ファイル名」と記述します。
（限定してアクセスさせたいファイルが存在する時以外は別に記述する必要ないと考えてます。）

例1ですとokamosanというフォルダは見ないで！と主張している事になるので、ロボットがokamosanのフォルダにアクセスされる事はありません。ここで注意するのはそのファイルに入っているページは全て見てくれない、ということなので、okamosanというファイルの中に見て欲しいファイルが有るのであれば要注意です。
ちなみに通常運営しているサイトではほとんどないと思いますが、全てのファイルへのアクセスを禁止する際には「Disallow: /」と記述します。
この記述をするとロボットはサイトを無視することになるのでインデックスされません。要注意です。

例1で説明したように全てのロボットからのアクセスを制御するなら「User-Agent: *」という記述をします。 （基本はこの記述で大丈夫です。）
ただ、どうしてもこのロボットだけのアクセスは禁止したい！という指定がある際にはこのように記述しましょう。

例2

User-agent: Googlebot
Sitemap : http://beginner-seogirl.com/sitemap.xml
Disallow: /okamosan/

例2のように記述する事でGooglebotというロボットからのアクセスを制御する事が可能です。
ただ、上記でも記述している通り、基本は全てのロボットに対して記述するのが理想だと思います。
今一度、あなたのサイトのrobots.txtも見直してみて下さいね。

Fetch as GoogleでGoogleさんに送信する

担当者：つじさん

サイトマップとrobots.txtが出来上がったところで、次はGoogleに対してちょっとしたアピールをしてみましょう！
アピールするからといって何もモデルのようにGoogleの前でポーズを取るわけではありません！(当たり前)Googleに、私のサイトを見て～！というお願いを送ることが出来るんです。
それが「Fetch as Google」という機能です。

Fetch as GoogleはGoogleがウェブマスター…いわゆるサイトの管理人さん向けに無料で。なんと無料で提供をしてくれている「Google Search Console」というツールの中にある機能です。
Search Consoleにはウェブマスターにとって嬉しい機能がたくさん詰まった、まさにサイト最適化の為のツールです。使用するにはGoogleのアカウントが必要ですが、そのアカウント取得から無料でできるので、使うに越したことはありません。
だって無料なんですよ！
自分のサイトの状態をあらゆる方面で調べることができるので、とっても便利なツールです。

今日ご紹介する「Fetch as Google」もSearchConsoleの中に備わっている機能の一つです。
使用する目的は主に2つ、「Googleがサイトをどのように見ているか調べるため」と「Googleにインデックスを送信するため」です。

私たちはサイトを作って実際にこの目で確かめますが、コンピューターであるGoogleのロボットはどのように見ているのでしょうか？考えたことがありますか？
綺麗な色をつけたり、見やすくスペースを空けたけど、果たしてそれってロボットは理解してくれてると思います？だってロボットですよ？

そんな不安を解消できるのがFetch as Googleです。これを使えばGoogleのロボットがサイトをどのように見ているのか、実際に見ることが出来るのです。
これならば自分の思った通りにロボットがサイトを見てくれているのか、確かめることが出来ますよね！

早速使い方を見ていきましょう！
まずはSearchConsoleにログインをしてサイトを登録しなければなりませんが、それはまたの機会に説明するとして…。
こちらがFetch as Google！

SearchConsole内の「クロール」というメニューの中にあります。
クリックをして中へ入ると、こんな画面が出てきます。

これはこのSEO女子のサイトを実際に登録しているページの写真ですので、サイトのURLが記されています。その隣のボックスに、試してみたいページのURL(http://～ドメインは既にお隣に書いてあるので省略しましょう！)を入れて、取得をクリックします。ポチットな。
※サイトのトップページをやりたい場合はこのボックスは空欄のままで大丈夫です。…って下に説明が書いてありますね！

ポチッとすると、しばらくした後下の一覧の中に先ほど送信したURLが出てきました！やったー！成功！これをクリックすれば、ロボットがどんな風にサイトを見てくれているのか分かります！
え？見せてくれないのかって？
それはぜひ自分のサイトで、自分の目でお確かめ下さいっ！

ページの送信が出来ると、次の目的を果たすことが出来ます。それがGoogleにインデックスを送信すること。
インデックスを送信することで、Googleに「こんなページがあるので、インデックスしてくださーい」ってお願いを送ることが出来ます。
そう、自分からGoogleにアピールをしに行くことが出来るんです！

一覧にある先ほど送信したページの隣に、インデックス送信というボタンがあります。これをポチットなします。すると。

こんな画面が浮き出てくるので、選択肢を自分の目的に合わせて選んで送信をします。
「このURLのみをクロール」こちらはそのままの意味で、上に表示されているURLのみを送信します。
「このURLと直接リンクをクロールする」こちらはURLと、そこから繋がっているリンクを辿ってクロールをしてもらうものです。
どちらも月に何回まで！と制限があるので、送信のし過ぎには注意が必要です。

たったこれだけ送信をするだけで、Googleはあなたのサイトのページをクロールしにやってきて、インデックスを取ってくれるのです。どうですか？とっても簡単なアピール方法ですよね！しかも無りry

しかし、これをしたからといって100％インデックスされるという保証は無いんです。それは、ページの中身だったり、色々要因はありますが…そこは徐々に直していきましょうね。 しかし！ウェブマスターならサイトがインデックスされるということがどれだけ大事がよくわかると思います。それが、こんなに簡単な方法で行ってもらえるのならやらなきゃ損ですよ！！