２０２１年３月８日 更新
こんにちは ご訪問ありがとうございます。
この記事はブログを開設した頃、疑問に思った事を書き留めたものです。
サイトマップ送信からどの様な処理後にインデックス 登録されていくのかを時系列で見て行く内容です。
目次
Google検索の基本
始めにGoogle検索の基本からおさらいして行きます。
クローリング
➀ウエブにどの様な記事が存在するかを把握する。
・新しいページを絶えず検出し、既知のページのリストに加える必要がある。
このプロセスをクローリングと呼びます。
・Googleが既にクロールしているページは既知のページ
➁既知のページから新しいページのリンクをたどり他のページが検出
・Googleによるクロールを希望するページのリスト（サイトマップ）を提出することで検出されることもあります。
クローラビリティの改善
・既に検出している別のページに新しいページをリンクさせます。
ページ内リンクでも良いと思います。
インデックス登録について
・Googleがコンテンツをインデックス登録するかどうかは、システムのアルゴリズムによって決定される。（問題を解くための手段・計算方法 ）
・ページのＵＲＬを利用してコンテンツを検出するためＵＲＬが無いとシステムはクロールもインデックスも出来ません。検索結果にも表示されません。
コンテンツを早く見つけてもらうために
・ＵＲＬを管理する
サイトマップと呼ばれるＵＲＬリストを作成してGoogleのシステムに提供
新しいＵＲＬや、既存のＵＲＬのコンテンツを更新したことをGoogleに伝えることで発見が早くなります。
ブログを開設した頃の疑問
ＧｏｏｇｌｅサーチコンソールにサイトＵＲＬの登録はしてあるが、個別に作成した記事のＵＲＬがインデックス登録されるまでの過程で、どの様な処理がされているのかを知りたい。
サイトマップ送信後の状況
２０１９年4月３０日現在、最新情報としてGoogleサーチコンソールにサイトマップを送信したところ、『サイトマップインデックスは正常に処理されました』と表示されているので、送信したサイトマップのＵＲＬは全てＧｏｏｇｌｅに登録されたと思っていました。
ところが、インデックスカバレッジ表示内容を見てみると有効が２でその他４９が除外になっていました。
除外の内訳
検出インデックス未登録が４７
クロール済・インデックス未登録が２
検出インデックス未登録とは？
詳細を確認してみると、ページはＧｏｏｇｌｅにより検出されましたが、まだクロールされていません。
これは通常、ＧｏｏｇｌｅがＵＲＬをクロールしようとして、サイトが過負荷だったためにクロールの再スケジュールが必要となった場合です。
そのため、レポート上で最終クロール日が空欄になっています。
送信したＵＲＬは検出しているがまだクロールされていない状況である可能性が高いことが解りました。
問題点の調査
検出インデックス未登録になっている４７件のＵＲＬ検査実施
サイト表示するものが２２件
サイト表示しないもの２５件
２２件がGoogleにＵＲＬが登録されています。
２２件中インデックス登録をリクエスト６件
この時点で、サイトマップは古いものがそのまま読み込まれいる事が判明
一旦サイトマップを削除しても新しいサイトマップを送信した段階でまた古いサイトマップを読み込んで来る。
記事の動作確認
２０１９年5月１日現在登録してある記事のＵＲＬが全て表示出来るかを確認
５１件の記事全て問題無く表示出来た。
調査結果の整理
これまでの調査で、２０１９年5月１日現在の状況を整理
➀公開登録してあるページのＵＲＬで検索すれば全てのページは正常に開く
➁サイトマップは２０１９年4月３０日に送信したものだが、実際にサイトマップで認識しているのは3月２６日の古いマップで更新や削除したＵＲＬが半数以上含まれていた。
➂サイトマップの再登録後にも検出インデックス未登録の数に変化なし
➃クロール統計情報によれば、１日当たりにクロールされたページ数は平均で２６ページ。
※クロール統計情報のグラフが昨日から少し変化してきているので、このまま暫く様子をみることにします。
もうひとつの疑問について
『サイトマップインデックス は正常に処理されました』についてもう少し調べてみました。
ここで書かれている正常に処理とは？
どんな処理状況を示しているのか？
よくよく調べてみると……こうゆうことみたいです。
サイトマップが読み込まれ、エラーなしで正常に処理されました。
すべてのＵＲＬがクロールのキュー（データーの先入れ先出し）に追加されます。
早く仕入れた商品の順に処理（販売）するような仕組み
つまり、これにより古いデーターが押し出され新データーに切り替わるということでしょうか？
Webの世界でも『先入れ先出し』という生産現場用語が出て来ることを始めて知りました。
関連記事
インデックス登録リクエスト方法
まとめ
サイトマップ送信→検出インデックス未登録から→クロール済インデックス未登録へは時系列で変化していくようです。
記事を新しく書いた時は、GoogleにＵＲＬを積極的に登録してもらうように、インデックス登録リクエスト（関連記事）や、サイトマップを送信をすることで検索されやすくなると思います。