Crawler (Pająk, Bot, Robot wyszukiwarki, Googlebot) – program komputerowy używany przez wyszukiwarki internetowe, służący do automatycznego odnajdowania oraz odczytywania zawartości i indeksowania stron internetowych w całej sieci. Najpopularniejszym robotem wyszukiwarek internetowych jest Googlebot.

crawlery google

Poszczególne roboty internetowe używane przez Google

Zobacz również: