2021年3月8日 更新
こんにちは ご訪問ありがとうございます。
この記事はブログを開設した頃、疑問に思った事を書き留めたものです。
サイトマップ送信からどの様な処理後にインデックス 登録されていくのかを時系列で見て行く内容です。
目次
Google検索の基本
始めにGoogle検索の基本からおさらいして行きます。
クローリング
➀ウエブにどの様な記事が存在するかを把握する。
・新しいページを絶えず検出し、既知のページのリストに加える必要がある。
このプロセスをクローリングと呼びます。
・Googleが既にクロールしているページは既知のページ
➁既知のページから新しいページのリンクをたどり他のページが検出
・Googleによるクロールを希望するページのリスト(サイトマップ)を提出することで検出されることもあります。
クローラビリティの改善
・既に検出している別のページに新しいページをリンクさせます。
ページ内リンクでも良いと思います。
インデックス登録について
・Googleがコンテンツをインデックス登録するかどうかは、システムのアルゴリズムによって決定される。(問題を解くための手段・計算方法 )
・ページのURLを利用してコンテンツを検出するためURLが無いとシステムはクロールもインデックスも出来ません。検索結果にも表示されません。
コンテンツを早く見つけてもらうために
・URLを管理する
サイトマップと呼ばれるURLリストを作成してGoogleのシステムに提供
新しいURLや、既存のURLのコンテンツを更新したことをGoogleに伝えることで発見が早くなります。
ブログを開設した頃の疑問
GoogleサーチコンソールにサイトURLの登録はしてあるが、個別に作成した記事のURLがインデックス登録されるまでの過程で、どの様な処理がされているのかを知りたい。
サイトマップ送信後の状況
2019年4月30日現在、最新情報としてGoogleサーチコンソールにサイトマップを送信したところ、『サイトマップインデックスは正常に処理されました』と表示されているので、送信したサイトマップのURLは全てGoogleに登録されたと思っていました。
ところが、インデックスカバレッジ表示内容を見てみると有効が2でその他49が除外になっていました。
除外の内訳
検出インデックス未登録が47
クロール済・インデックス未登録が2
検出インデックス未登録とは?
詳細を確認してみると、ページはGoogleにより検出されましたが、まだクロールされていません。
これは通常、GoogleがURLをクロールしようとして、サイトが過負荷だったためにクロールの再スケジュールが必要となった場合です。
そのため、レポート上で最終クロール日が空欄になっています。
送信したURLは検出しているがまだクロールされていない状況である可能性が高いことが解りました。
問題点の調査
検出インデックス未登録になっている47件のURL検査実施
サイト表示するものが22件
サイト表示しないもの25件
22件がGoogleにURLが登録されています。
22件中インデックス登録をリクエスト6件
この時点で、サイトマップは古いものがそのまま読み込まれいる事が判明
一旦サイトマップを削除しても新しいサイトマップを送信した段階でまた古いサイトマップを読み込んで来る。
記事の動作確認
2019年5月1日現在登録してある記事のURLが全て表示出来るかを確認
51件の記事全て問題無く表示出来た。
調査結果の整理
これまでの調査で、2019年5月1日現在の状況を整理
➀公開登録してあるページのURLで検索すれば全てのページは正常に開く
➁サイトマップは2019年4月30日に送信したものだが、実際にサイトマップで認識しているのは3月26日の古いマップで更新や削除したURLが半数以上含まれていた。
➂サイトマップの再登録後にも検出インデックス未登録の数に変化なし
➃クロール統計情報によれば、1日当たりにクロールされたページ数は平均で26ページ。
※クロール統計情報のグラフが昨日から少し変化してきているので、このまま暫く様子をみることにします。
もうひとつの疑問について
『サイトマップインデックス は正常に処理されました』についてもう少し調べてみました。
ここで書かれている正常に処理とは?
どんな処理状況を示しているのか?
よくよく調べてみると……こうゆうことみたいです。
サイトマップが読み込まれ、エラーなしで正常に処理されました。
すべてのURLがクロールのキュー(データーの先入れ先出し)に追加されます。
早く仕入れた商品の順に処理(販売)するような仕組み
つまり、これにより古いデーターが押し出され新データーに切り替わるということでしょうか?
Webの世界でも『先入れ先出し』という生産現場用語が出て来ることを始めて知りました。
関連記事
インデックス登録リクエスト方法
まとめ
サイトマップ送信→検出インデックス未登録から→クロール済インデックス未登録へは時系列で変化していくようです。
記事を新しく書いた時は、GoogleにURLを積極的に登録してもらうように、インデックス登録リクエスト(関連記事)や、サイトマップを送信をすることで検索されやすくなると思います。