Bloggerのカスタムロボットヘッダータグの必要性と使い方

Bloggerの管理画面の設定の「クローラとインデックス」にカスタムロボットヘッダータグのスイッチが付いている。 Bloggerの管理画面の設定のクローラとインデックス

クローラとインデックス｜Blogger

カスタムロボットヘッダータグとはGoogleやYahoo!などの検索エンジンのブログの扱いを検索避けを中心とした様々な仕方で、制御する方法の一つで、一般的にX-Robots-Tagと呼ばれるものと同じだ。

X-Robots-Tag は、指定した URL に対する HTTP ヘッダー応答の要素として使用できます。robots メタタグで使用できるディレクティブは、すべて X-Robots-Tag として指定することもできます。ページをインデックスに登録しないようクローラに指示する X-Robots-Tag を含む HTTP 応答の例を次に示します。

X-Robots-Tag HTTP ヘッダーの使用｜Google 検索セントラル｜Google Developers

通常はサイトのサーバーの設定を操作するものがBloggerでは設定のメニューから有効にして必要な項目を選択すれば自動的にやってくれる。

カスタムロボットヘッダータグの必要性
どんな場合に使うとブログに良いか
カスタムロボットヘッダータグの使い方
Bloggerで設定できるページの分類
Bloggerで指定できる九つの項目
ブログの検索避けを確認する方法

カスタムロボットヘッダータグの必要性カスタムロボットヘッダータグは検索避けに使うのが普通で、ブログにGoogleやYahoo!などの検索エンジンから訪問者を増やそうとするとき、検索避けをかけるページとかけないページの振り分けに役立てられる。ブログ自体を検索エンジンから除外して構わなければBloggerでは管理画面の設定のプライバシーの「検索エンジンに表示されるようにする」を外すのが最も簡単だろう。どんな場合に使うとブログに良いか一般的に検索エンジンにはサイト評価があって良いと判断するページを検索結果の上位に表示させるので、その順位を上げるためにサイト評価を高めたい場合、反対に落とすかも知れないページを削除するか残したければ検索避けをかけるという方法がある。どんなページが検索エンジンのサイト評価を落とすかというのははっきり分からない。Googleが出している検索エンジン最適化（SEO）スターターガイドを教科書として外れたことをしないことが最も重要だと思う。低品質なページが良くないといわれるけれども例えば文字数が少な過ぎて内容が薄いとか検索されるキーワードに合致する内容がないなんてページは実際に検索エンジンで見かけることがないので、サイト評価は低いかも知れない。低品質なページの検索避けによる二つのSEO効果サイトの低品質なページの検索避けができれば検索エンジンのクロールバジェットを節約して高品質なページの解析の機会を増やすことができる。そして内部リンクを通すなどの様々な要因からサイト全体のサイト評価を下げ難くなり、結果としてその他の全てのページのサイト評価を高めることに繋がるかも知れない。検索避けのSEO効果はページを削除するのと変わらない。Googleならばクロール（ページの発見）とインデックス登録（ページの取得）と検索結果の表示:（ページの判断）という三つの段階を経て動いている（Google 検索の仕組みと検索結果について）。検索避けは二番目のインデックス登録を拒否するから検索エンジンは一番目のクロールだけを行って三番目の検索結果の表示は行わない。これはサイト評価を行わないのと同義なので、検索避けをかけたページの品質は検索エンジンから判断されず、たとえ低品質なページだとしてもその他のページやサイト全体のサイト評価に悪影響を及ぼさないと考えられる。

参考サイト

低品質コンテンツの削除はクロール効率とサイト品質の改善に役立つ

ヘルプフルコンテンツアップデートでサイト評価はさらに厳しいGoogleがヘルプフルコンテンツアップデートを始めて低品質なページによってサイト全体のサイト評価を下げるようになったからSEO対策での検索避けの必要性が増したと感じる。

有用でないコンテンツ自体だけでなく、そうしたコンテンツを比較的多く含むと判断されたサイトにあるコンテンツも、表示すべきコンテンツがウェブの他の場所にあると考えられ、検索での掲載順位が下がります。そのため、有用でないコンテンツを削除することで、他のコンテンツのランキングが改善する場合があります。

更新の流れ｜Google 検索セントラルブログ｜Google Developers

今年の八月に英語圏で始まって十二月に日本語を含めて英語圏以外にも導入された。新しいのは「有用でないコンテンツ」が多めにあれば同じサイトの高品質なページに対しても「表示すべきコンテンツがウェブの他の場所にあると考えられ、検索での掲載順位が下がります」と断言されている。もはや低品質なページのサイト評価への悪影響がサイト全体に広がって行く危険性が増して来たから削除するか検索避けをしっかりかけるべきだと考える。SEO効果を望んで検索避けをかける場合は検索エンジンが認識してサイト評価を変えるまでに、数ヵ月程度、かかるかも知れないから直ぐにアクセスアップが来なくても焦らず、気長に待って本当に良いかどうかを判断しなくてはならない。カスタムロボットヘッダータグの使い方ブログに検索避けをかけるならばカスタムロボットヘッダータグはもう一つの「robots メタタグ」というmetaタグのrobotsを使ってブログのテンプレートのHTMLを編集するよりも簡単だ。ただし設定できるページの分類が大まかだから使い辛い面があったり、反対に「robots メタタグ」では難しいところで便利な面もあるんだ。Bloggerで設定できるページの分類Bloggerの管理画面の設定と記事／追加ページの編集画面の二箇所で検索避けを設定できる。どちらもBloggerの管理画面の設定の「カスタムロボットヘッダータグを有効にする」を入れると使えるようになる。Bloggerの管理画面の設定のクローラとインデックスから使う場合 Bloggerの管理画面の設定のホームページ用のカスタムロボットタグの項目

ホームページ用のカスタムロボットタグ｜Blogger

ホームページ用のタグ

トップページとその前の全てのインデックスページが対象。

アーカイブページと検索ページ用のタグ

アーカイブページとブログ内検索の結果ページが対象。

投稿とページ用のタグ

投稿ページと追加ページが対象。

ラペルページと検索ページとエラーページはカスタムロボットヘッダータグの対象に含まれてないから何も指定することはできない。そして何れの項目も違う種類のページが合わさっていて切り離して操作することはできない。カスタムロボットヘッダータグで無理な場合はmetaタグのrobotsを使うことになる。因みにブログ自体を検索エンジンに表示したくなければ管理画面の設定のプライバシーで「検索エンジンに表示されるようにする」を外す。記事／追加ページの編集画面の投稿の設定から使う場合 Bloggerの記事／追加ページの編集画面のカスタムロボットタグの項目

カスタムロボットタグ｜Blogger

カスタムロボットタグ

個々の記事／追加ページが対象。

カスタムロボットヘッダータグが非常に便利なのは個々の記事／追加ページに指定できるところで、Bloggerの場合はmetaタグのrobotsで一つ一つ指定するのは逆に大変だからスイッチを入れるだけなのは大助かりだと思う。注意点として記事／追加ページに一つずつカスタムロボットタグを設定する場合はBloggerの管理画面の「投稿とページ用のタグ」の項目との関係を考慮する必要がある。「投稿とページ用のタグ」を使うと全ての記事／追加ページが同じ設定になるからそのままでは個別に扱えない。基本的には「投稿とページ用のタグ」を外しておいて検索避けが必要なページだけカスタムロボットタグを入れると良いと思う。しかし項目の「all」を選ぶと制限なしで、全ページにかけた検索避けを個々に外すという設定もできる。つまり記事／追加ページのカスタムロボットタグは管理画面の「投稿とページ用のタグ」よりも優先度が高いわけなんだ。検索避けをかけたいページが少なければ「投稿とページ用のタグ」を外して個々のカスタムロボットタグを入れる、逆ならば前者を入れて後者で外すようにすると効率良く設定できる。Bloggerで指定できる九つの項目カスタムロボットヘッダータグは設定できるBloggerの管理画面と投稿の編集画面のどちらも共通の九つの項目から選んで指定できる。

all

制限しない（通常の表示）。

noindex

インデックスを拒否する。

nofollow

リンクを辿らない。

none

noindexとnofollowを二つかけたのと同じ。

noarchive

検索エンジンのキャッシュ（以前に保存したページ）を検索結果に出さない。

nosnippet

ページの文章や動画のプレビューを検索結果に表示しない。

noodp

DMOZ（ディレクトリーサイト）に登録された説明文を検索結果に表示しない。
DMOZは閉鎖されたから無効。

notranslate

ページの翻訳を検索結果に表示しない。

noimageindex

画像を検索結果に表示しない。

unavailable_after

指定された日時から検索避けを開始する。

日付の書式と例

RFC 822
例＿01 Jan 22
RFC 850
例＿ 01-Jan-22
ISO 8601
例＿2022-01-01

一般的なものならばその他にも使用できる書式はあり、それぞれの仕方で時間も指定できる。

参考サイト

日時 | PHP プログラミング解説

もう一つBloggerのもので、記事／追加ページのカスタムロボットタグには「デフォルト」の項目もある。これは管理画面の「投稿とページ用のタグ」の状態を示す。投稿の作成が「カスタムロボットヘッダータグを有効にする」を入れた後だと自動的に選択される。前に投稿されたものはどこも選択されないけれども調べると結果は同じで、管理画面の設定が反映するんだ。一回でも更新して再び編集画面に入ると「デフォルト」が選択されている。一般的にX-Robots-Tagで指定できる項目は他にもあってインデックス登録と表示に関する有効なディレクティブによると十四種類が設定できるけれどもBloggerのカスタムロボットヘッダータグで用意されているのは九つ、現在はnoodpが無効だから使えるのは実質的に八つになる。その他の項目が使いたい場合は管理画面のテーマのメニューの「HTML編集」からブログのテンプレートにmetaタグのrobotsで記載すると大丈夫だ。ブログの検索避けを確認する方法カスタムロボットヘッダータグを設定して実際に必要なページに検索避けがかかっているかどうかを確認する方法も覚えておきたい。誤って必要なページにかからないと困るし、必要ないページにかかると検索エンジンから誰も来なくなるから良く注意しなくてはならない。検索避けを確認する場合はGoogleのSearch Consoleにブログを登録していれはURL検査から「公開URLのテスト」でページ毎に検索エンジンにインデックス登録が可能かどうか、すなわち検索避けがかかっているかどうかが判定されてはっきり分かる。Search Consoleを使わないと検索避けの状況がはっきり分かる方法はないかも知れない。GoogleでページのURLの先頭に「site:」を付けて検索して表示されなければ検索避けの可能性がある。ただし検索避けを設定して即座に反映するわけではないから暫く待たなくてはならない。「site:」の方法は検索避け以外の要因でページがGoogleの検索結果に表示されない可能性も十分にあるから検索避けの状況ははっきり分からない。