robots.txtに大苦戦した件

Posted in Web on 2012年6月24日 No comments

どうも、こんにちは。グロウアップです。

自社サイトを立ち上げて、さあ色々運用を始めようかな！　って思っていたところ、

Googleウェブマスターツールを見ると、robots.txtが取得できないというエラーが。

ん？　robots.txtってなんだ？　と思い、ググってみると、グーグルのロボットが読み込むもののようで

特に、みられたくないページをそこに指定しておくと検索の際にはじいてくれる（たぶんそのようなこと）

とのことが書いてあった。

いやいや、でもrobots.txtなんて設定してないし、そもそも今初めてしったし、と思いつつも、しばらく

放置してみたら、どうやらまったくPVが伸びない。どーやらこのエラーを解消しないとグーグルさんが

見てくれないらしいとわかり、さっそく解消に着手。

何々、原因はいろいろあるようだが、特にサイトの正規化をおこなう.htaccessに問題がありそうだと

判明。おー正規化したよこの前、と思い、記述をチェックし何となーく怪しそうなところを修正し

再アップ。よし、これで大丈夫だろうと、マスターツールをチェック。

まだ、出てるよエラー・・・・

まあ、すぐには反映されないよね、今なおしたばかりだしと思って、時がたつのをまつ。

3日後、

やっぱ直ってねー！　他が悪いのか？　さらに他の原因を求めて、ググる、ググりまくり、

記事を読みまくる。そしたら、ほかの原因としてsitemapが原因説とrobots.txtを作って

アップしろとのことが書いてあった。

よしわかった！　この二つともやっておけい！　とばかりに、サイトマップはいったん削除、

そしてrobots.txtを作ってアップ。

ふ～、これで完璧だろう、と思い、再びウエブマスターツールをチェック。

まあ、直ってないよね。もう慣れっこです。これでしばらく待てば直るだろう。時が解決してくれるだろうと、

待つこと2日間。

おい、まだ出てるよエラー・・・

もーう、どうしたらよいのか、お手上げ状態。

そして現実逃避、違うことをしよ～と思ってしばらくマスターツールみない。

そして4日ぐらいたったころ、もしや、と思ってマスターツールを見ると・・・

直っている！

おお～～、直っている！　やった！

何が原因なのかは、不明だが、たぶんsitemapかrobots.txt追加のどちらかが有効になったのだろう。

でもよかった。これでなんとかグーグルさんが、巡回してくるだろうと、大苦戦したrobots.txtの件でした。