タグ

robots.txtに関するsunwest1のブックマーク (2)

  • 20万以上のURLを誤ってrobots.txtでブロック、対処策をマット・カッツがアドバイス

    [対象: 中級] WebmasterWorldフォーラムの有料エリアに投稿された質問にGoogleのMatt Cutts(マット・カッツ)氏がアドバイスしました。 Matt Cutts氏がWebmasterWorldに姿を表すのは非常に珍しいことです。 特に最近では極めて異例のことで、Search Engine Roundtableによれば実に3年ぶりだそうです。 久しぶりに登場したMatt Cuttsがどんなトラブルに対してどんなアドバイスを与えたのかをこの記事で紹介します。(有料エリアでのやりとりですが、一部だけなのでまぁいいでしょうw) 投稿者の質問 大量のURLを誤ってrobots.txtでブロックしたことが原因で検索トラフィックが減ってしまった。一刻も早く回復させたい。 どうしたらいいか? これが投稿者の相談です。 具体的には、次のような状況でした。 とても大規模なサイトで、CM

    20万以上のURLを誤ってrobots.txtでブロック、対処策をマット・カッツがアドバイス
  • robots.txtの書き方(保存版) » 海外SEO情報ブログ・メルマガ

    今日は、いつか書こう書こうと思って、そのままにしておいた「robots.txt」にの書き方・書式について書きます。 robots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。 robotではなく、robotsです。 robots.txtはサーチエンジンのクローラ(スパイダー)の、ファイルとディレクトリへのアクセスを制御するために使われます。 「secretsというディレクトリにあるファイルにはすべてアクセスさせたくない」とか、「himitsu.htmlというファイルだけはアクセスさせたくない」という使い方ができます。 「アクセスさせたくない」というのは、「インデックスさせたくない」すなわち「検索結果に表示させたくない」ということです。 「なぜ、検索結果に表示させたくないの?」と疑問に思うかもしれません。 さまざまなケースがあります。 たとえば、URLを自分が教え

    robots.txtの書き方(保存版) » 海外SEO情報ブログ・メルマガ
  • 1