Robot internetowy - nazywany też pająkiem to program komputerowy pracujący dla swojego właściciela. Właściciel, zwykle wyszukiwarka internetowa (np.Google, Yahoo, Ask, Yandex) ma do dyspozycji wiele takich programów, które wysyła w wirtualny świat Internetu, aby przyniosły jej informacje. Informacje na temat stron internetowych; nowych, starych, wszelkich zmian na stronach. Taki robot to jak zwiadowca w wojsku, bada nie tylko wygląd strony internetowej ale i jej treść. Czasem pobieżnie, czasem wgryza się w głąb witryny internetowej. Jeśli witryna jest zaprojektowana dla klientów, warto ułatwić temu pająkowi zgłebienie jej zawartości poprzez udostępnienie mapy strony. Pająk podobnie jak zwiadowca wraca z informacjami do wyszukiwarki a ona decyduje czy i jakie informacje o stronie internetowej wziąć od pająka i umieścić w swoich zasobach (indeksowanie) do dyspozycji internautów.

Jak robot Google indeksuje strony internetowe?