クローラー — Termwire

Web上のページを自動的に巡回して、内容を収集するプログラム。

リンクをたどりながら次々とページを訪問し、内容を検索エンジンのデータベースに登録していく。人間が1ページずつ見つけて回るのは非現実的なため、この自動巡回が検索エンジンの土台を支えている。

robots.txtというファイルで、クローラーに見てほしくないページを指定することもできる。ただし従わないクローラーも存在するため、本当に隠したい情報の保護には向かない。