クローラー

クローラーとは、Web上の文書や画像などのあらゆる情報を取得し、自動的に検索データベース化する巡回プログラム、ロボットの総称。クローラーが収集したデータは瞬時にインデックス化し、検索データベースが構築される。また、その更新にも利用されている。

Web上の情報を収集することクロールといい、それを行うロボットをクローラーと呼ぶ。別名、スパイダー、ロボット(Robot)などとも呼ばれる。著名なものとして、Googleが開発した自動巡回プログラム「Googlebot」がある。