ひさびさに人力検索の回答

つれづれ

最近は、できるだけコメントの中でヒントになるものを書いてたりする。
でも、コメントが開いてない場合は、回答してみたりもする。


public_html以下のどのディレクトリもGoogleの検索結果に表示されないようにするにはどうしたらよいでしょうか。
http://q.hatena.ne.jp/1209023327


なんか、ググれば一発で分かりそうな質問だと思う(^_^;
条件はこんな感じだと理解。

  • Googleの検索結果に表示されたくない。
  • それは、public_html以下のディレクトリ。
  • 方法を教えてほしい。


この文面からわかったのは、こんなところ。
なんで google にこだわっているのかがよく分からないけど、質問者さんの事情なんだろう。
特に深く考えないことにした。


また、public_html 配下すべてを対象にするかのように見えた。
こちらは、僕が文章を深く読めてなかったので反省。
public_html以下のディレクトリって、なんだろう？
CGIを置くディレクトリを公開したくないという感じかな？
検索エンジンを利用した掲示板スパムなんかがあるので、CGIディレクトリを検索されないようにするのは意味がある。
でも、普通はサンプルくらい条件つけてもいいよね？
サンプルとしてホームディレクトリを入れておけば、あとは応用なのでわかるだろう。


で、検索エンジンに表示されなくなる方法は、いくつかある。


僕が人力検索はてなへ回答するときは「求められた答えを迅速に」「必要以上にお節介しない」という方針。
条件を全部記載しないということは、考えるヒントだけ欲しい状態なはず。
コンピュータ関係の質問で、環境を開示しないというのはそういう意味だ。


必要な情報がわかってないからおかしな質問しているのだとしても、答えを補足するためにコメント欄くらいは空けておいて欲しい。


…おっと、愚痴になってきた(^_^;
回答は、robots.txt にしておいた。
僕自身が使っているし、デメリットも少ない。


以下のURLで僕が使っている robots.txt を見ることが出来る。
http://magna50.dip.jp/robots.txt

User-agent: *
Disallow: /cgi/*


検索エンジンに見て欲しくないディレクトリなので、下手なことを書くと逆にアクセスが集中しかねない。
こんな robots.txt だったら、アクセス急増間違いなしｗ

User-agent: *
Disallow: /ero/
Disallow: /adult/
Disallow: /private/


そういう意味だと、google ならば Meta に書き込む方法でもいい。
ページ単位で制御できるし。
けれど、すべてのページに書かなければならないうえに、ディレクトリ単位での制御ができない。
これは条件に反する。


検索エンジンからのアクセスを拒否する方法…あとで takaramonob さんが回答してるけど、これはマメな更新が必要。
google は、ちょくちょく検索エンジンのIPアドレスを変更することで知られている。
マナーの悪い検索エンジンは、IPアドレスの変更なんてもっと頻繁だ。



さて、ここまで書いてきて思った。
ディレクトリって、どういう意味だ？


もしかして、僕が勘違いしてるのか？
httpデーモン（apache とか）には、ブラウザで index.html等（index.html, index.htm, index.shtml, index.sht）の存在しないディレクトリへアクセスした時、ファイルの一覧を表示する機能がある。
これの設定変更をしたいのか？
これも検索エンジンで検索対象になり、html 上で公開してないファイルも丸見えになることがある。
それを防止したいという質問とも読める。


そこまでは、深読みしすぎなのだろうか？
でも、Webページとは一言も書いてないし…
わからない…



せめてコメント欄が最初から開いていれば、問い合わせできたものを。