はてなブログがインデックスされない、サーチコンソールでサイトマップが「取得できませんでした」問題の対処方

どうも、GOEMON（@goemon_tokyo）です。

とりあえず対処法が知りたい方は下の方のsitemap.xml?page=1を新しいサイトマップとして追加しましょうｂ

目次からも飛べます。

インデックスが全くされていない

こちらのブログを作ってから、２週間ほどが経過し、当然ながらアクセスはまだまだ少ないのですが、ニュースについての記事を毎日書いてる割に検索流入がゼロというあまりにも変なアクセス数でしたので、Google Search Consoleを見たらカバレッジが２件。笑

カバレッジ２件

4月19日時点で、すでに20本近くの記事を更新しているのですが、トップページとアーカイブページが１件ずつしかありません。

サーチコンソール上で、https://www.goemon-biz.com をURL検査したところ、一応URL自体はGoogleに登録されていました。まぁトップページがインデックスされているので、ここは大丈夫。

サイト自体は認識されている

サーチコンソール上でカバレッジ件数が少なくても、インデックスに問題はないと書いてある記事もたくさんあるのですが心配なので、次にGoogleさんでブログ記事がヒットするかを「site://www.goemon-biz.com」で検索してみると、

検索結果

ん～４件。しかも、このうち１件は先ほど設定をしている最中に個別でインデックス登録を送ったのが反映されたので設定前は３件でした。site:~~~で調べて出てくるのは実際のインデックスと差異があるという記事もたくさんありますが、個別にURLやタイトルで検索しても表示されたのは上記３件のみでした。

sitemap.xmlをチェックする

サイトマップなどの設定はブログを開設した日に全部済ませてあり、一通り再確認しましたが、はてなブログ内、サーチコンソール内どちらも問題ありません。

続いてはsitemap.xmlがエラーになっていないかサーチコンソールを見てみると、

どうやらsitemap_common_xmlは2件認識されていて、これのみインデックスされている。月別のxmlは取得できていないみたいです。

試しに、https://www.goemon-biz.com/〇〇にそれぞれのsitemapを指定して確認してみる。

sitemap.xmlからはcommon.xmlと4月、3月の月別が指定されています。

sitemap.xmlの中で指定されていて、唯一サーチコンソールで読み込みが成功しているsitemap_common.xmlの中身はトップページとaboutページ。なるほど、この２件がインデックスされてるんですね。

取得ができていないmonth=4と3の月別のxml内を見てみると、記事自体は列記されていました。これがサーチコンソール内で取得が上手くいかないみたいです。

再リクエストや個別のURLでインデックスをリクエストしてみる

 とりあえず、出来ることをやってみようと思い、サーチコンソール上部にトップページのURLを入力し、表示された画面から「インデックス登録をリクエスト」をしておき、放置。

12時間ほど経ったあとに確認しましたが、変わりはありませんでした。これですと元々登録されていたトップページだけなんですかね。

次に上部のURL検査からインデックスされていない記事のURLを入力し、表示された画面からまた登録をリクエスト。

すると、数分でこの記事自体はインデックス登録が完了していました。Googleの検索結果で表示を確認できました。

一応、これで記事を公開した後に手動でリクエストをすればインデックスされるようにはなりましたが、あまりにも面倒ですので色々調べた結果、sitemap.xmlの他にsitemap.xml?page=1を指定するとインデックスされたと報告されている方を発見。

sitemap.xml?page=1を新たに追加する

【はてなブログ】サイトマップ に「/sitemap.xml?page=1」も追加しよう

https://eigoful.com/google-search-console/

こちらの通り、サーチコンソールのサイトマップから新しいサイトマップの追加でURLに「sitemap.xml?page=1」を入力して送信。

 

ステータス「取得できませんでした」と表示されていますが、上記ブログの方によるとこのまま２週間ぐらい待っていたら、「成功しました」に変わっていたとのことですのでしばし待つことにしました。

sitemap.xml?page=1を追加して１日後

こちらのサイトマップを追加して、１日が経過しましてサーチコンソールを確認したところ特に変化はありません。

しかし、Google上でsite://www.goemon-biz.comを検索してみると、記事が全部出てくる！

個別の記事の他、カテゴリーのページなども検索結果に表示されるようになっていました。

ただ、今朝10時30分に更新した記事に関しては時間経過が足りないのか、サーチコンソールからURL検査を16時にしたところ、Googleに認識されていませんでした。

これは単に新しいサイトでクロールの巡回頻度が少ないためであれば、運営していくうちに徐々にクロール頻度も高まってタイムリーに更新されると思いますが、どうでしょうね...

とりあえず１週間ほどは手動でリクエストを送らずに、更新したら放置してインデックスされるかを検証しておこうかと思います。

また、sitemap.xml?page=1は1~100記事目、page=2は101~200記事目の情報が書かれているそうなので、100記事目以降はどうすんねんという話がありまして、そのぐらいの記事数になったらpage=2も追加しなければならないのかもしれません。

このブログの記事がそれぐらい溜まって来たら、こちらの追記をしながら経過を報告します。

※xmlについての解説はこちらの記事が詳しいです

ガラパゴスタ

https://www.galapagosta.com/entry/2019/03/17/160105

https://www.galapagosta.com/entry/2019/02/06/195952

経過報告

この記事は2020年4月20日に書いていますので、まずは4月30日かゴールデンウイーク明けを目途に確認して追記していきます。

同じ問題でお困りの方、上記で解決できた方、上記でも解決できない方、コメントかTwitterで情報共有頂けると嬉しいです。

はてなブログがインデックスされない、サーチコンソールでサイトマップが「取得できませんでした」問題の対処方 https://t.co/SOyftje8pa

— GOEMON@ひとり飲み (@Goemon_Tokyo) 2020年4月20日

経過報告１（4月22日）

この記事を書いたと同時にはてなへ問い合わせを送っており、回答が来ましたので共有。

要約すると「はてな側で出来ることはない」「いくずれクローラのアクセスがある」とのことです。

ん～、こちとらWordpressで10年近く色んなブログやらメディアやら触ってきましたけど、２週間経ってリクエスト送っても記事反映されないのは明らかにおかしいと思うんですけどね。もはやhatenaのシステムがBAN食らってんじゃないかと思うんですが。

５月に入っても解決しなかったら、このブログはこのまま放置して、Wordpressに移します。有料プランにしましたけど、インデックスされないのはさすがにアカンですわいハテナさん。

経過報告2（4月23日） 

先ほど、サーチコンソールを確認したところ、4月19日にpage=1のサイトマップを送信したことによって19件のカバレッジが検出されていました。

とりあえずはやはり、?page=1を登録すると検出されるみたいです。がしかし、19日のサイトマップ送信後から更新した記事はやはりGoogleに認識されていないままです。

３記事ほどすでに新たに公開しており、サイトマップ内も更新はされているのですがGoogleでURLを検索してもタイトルで検索をしても出てきておりません。

もう半分諦めており、Pro版年間契約してしまったお金はドブに捨て、他に移行しようかと思っています。

いったん様子見のために、こちらと新しく移行する先両方で更新していきます。同コンテンツでもそもそも、はてなブログはGoogleに認識されていないため、コピーコンテンツとしてSEO評価下がることも無いわけですからね。笑

経過報告3（5月4日）

諦めました。笑

やはり待てどまてど何も変わらず、新しく毎日記事を更新しても１記事もインデックスされることはなく、サーチコンソール上でステータスを確認しても認識されていませんでした。

これはやはり手動で対応をし続けるしかないと判断したため、はてなProはこれ以降更新を辞めて大人しくWordpressかnoteで更新しようと思います。

この記事へもし検索で辿り着いているとしたら、拙者が手動でリクエストを送った後かと思われます。同問題で解決策を探している場合の結論としてはpage=1を送り、それを更新したら再度リクエストするという方法となりました。

個人的には検索結果へ反映したい場合は他のプラットフォームをおすすめします。