e-commerce Japan

SEARCH

2020.12.04

クローラーとは

■クローラー

クローラーは、インターネット上のウェブサイトを巡回することにより、テキストや画像、動画等の情報を取得する自動プログラムです。よく知られているのは検索エンジンのクローラーでしょう。検索エンジンのクローラーは、自動でウェブサイトを巡回してファイルを収集、その後インデクサと呼ばれるプログラムがインデックスを作成します。

関連記事

PAGE TOP