TERMWIRE
IT用語がすべて自動でつながる用語辞典
No.0088 ― 更新日 2026-09-13 ― 関連語 2件
ロボッツテキスト
クローラーに対して、サイト内のどこを見てよいかを伝えるルールファイル。
サイトのルート直下に置くテキストファイルで、「このディレクトリは巡回してほしくない」といった指示をクローラーに向けて書いておく。あくまでお願いであり、強制的にアクセスを禁止する仕組みではない。
重要なページを誤って巡回禁止にしてしまい、検索結果から消えてしまうミスは意外と多いため、公開前に必ず内容を確認する項目のひとつ。