Robot internetowy - nazywany też pająkiem to program komputerowy pracujący dla swojego właściciela. Właściciel, zwykle wyszukiwarka internetowa (np.Google, Yahoo, Ask, Yandex) ma do dyspozycji wiele takich programów, które wysyła w wirtualny świat Internetu, aby przyniosły jej informacje. Informacje na temat stron internetowych; nowych, starych, wszelkich zmian na stronach.
Taki robot to jak zwiadowca w wojsku, bada nie tylko wygląd strony internetowej ale i jej treść. Czasem pobieżnie, czasem wgryza się w głąb witryny internetowej. Jeśli witryna jest zaprojektowana dla klientów, warto ułatwić temu pająkowi zgłebienie jej zawartości poprzez udostępnienie mapy strony. Pająk podobnie jak zwiadowca wraca z informacjami do wyszukiwarki a ona decyduje czy i jakie informacje o stronie internetowej wziąć od pająka i umieścić w swoich zasobach (indeksowanie) do dyspozycji internautów.
Jak robot Google indeksuje strony internetowe?
{youtube}GEbS0a2JcAo{/youtube}
Inne określenia: bot, crawler, spider - wszystkie pochodzą z j.angielskiego.
