Googlebot bloccato dal file robots.txt - Correggere e ottimizzare robots.txt
Googlebot è un software che il motore di ricerca Google utilizza per scansionare, in modo automatico, i siti web alla ricerca di nuove pagine e contenuti da indicizzare seguendo delle linee guida fornite da un file di testo, robots.txt.
Googlebot è il nome generico di due diversi tipi di crawler: un crawler desktop che simula un utente che usa un dispositivo desktop e un mobile crawler che simula un utente che usa un dispositivo mobile.