少なからず私も試しにロボット拒否のファイルやタグを書き込んで試して
みたのですが、結局検索されてしまいました。
それで今回は、即(と言っても数時間)ロボット検索から自分のHPなどの
削除してみました。結果的に数時間で私のHPは、ロボット検索には
掛からなくなりました。
robots.txtと言うファイルを作ります。
Windowsを使っている方でしたらメモ帳を開いてください。スタート→プログラム→
アクセサリーにあると思います。
User-Agent: *
Disallow: /
この二行をそのままコピーしてメモ帳に貼り付けてください。
そしてファイル→「名前を付けて保存」でファイル名をrobots.txt とします。
ただこれだけです。
そして任意のホルダに保存しておいてください。のちにHPをアップしてあります
ルートディレクトリにアップします。ルートディレクトリとはHPの顔である
TOPページです。index.htm(html)がある一番上のディレクトリ(フォルダ)です。
もうひとつは、ページ単位で拒否する方法です。
TOPページでしたらそのhtmlファイルをHP作成ソフトを開いて
ロボット拒否のタグを書き加えるだけです。
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
このタグをそのままコピーして
ページの上のほうにあるMETAタグの下か上に貼ります。
このタグと同じようなMETA(meta)ではじまるタグの直ぐ下か上です。
これだけでお終いです。
拒否したいページは、全てこのタグを貼ります。
私は、試しにrobots.txtファイルとタグと両方アップしてみました。
通常はこれでgoodgleなどのロボット検索には掛かりませんが
緊急に掛からなくしたい場合は、このファイル、タグを書き加えた状態で
こちらへ登録します。「自動URL削除システム」にアクセスします。
説明に沿って削除画面へログインします。
robots.txt ファイルを使用して個々のページ、サブディレクトリ、
画像を削除する robots.txt ファイルをサーバーのルート ディレクトリ
に置きます。
メタ タグを使って 1 ページだけを削除する
をそれぞれ選択しました。詳しくはそのページの説明を参照してください。
完了しますと「ステータス」にその状況が表示されはずです。
一応24時間で自分のページの削除が完了しますが恐らく数時間で
大丈夫だと思います。
livedoorのBlogでもこれもMetaタグを貼りつけて試したのですが
ロボット検索は引っ掛からなるようです。
タグの貼る場所は、「プロフィール」などの解析、カウンターのタグ貼れる
場所から貼れば大丈夫だと思います。
ロボット検索に掛からないようにしたい方は、試してみては如何でしょうか。
↑続きを隠す