サイトに見に来てほしくない場合
robots.txt 記載例
例:○○○.jp/robots.txt で検索してみる
robots.txtとは、
ロボット型検索エンジンに対してクロールに関する制御を伝える
ためのファイルです。
http://www.seotaisaku.com/seo/robotstxt.html
検索ぼっと=クローラー
robots.txt 記載例
例:○○○.jp/robots.txt で検索してみる
robots.txtとは、
ロボット型検索エンジンに対してクロールに関する制御を伝える
ためのファイルです。
http://www.seotaisaku.com/seo/robotstxt.html
検索ぼっと=クローラー