Come Google scopre le pagine del tuo sito
L'indicizzazione è il processo che Google usa per scoprire, analizzare e memorizzare le tue pagine nei suoi database. Non è automatico: puoi avere il sito più bello del mondo, ma se Google non lo scopre, non appare nei risultati di ricerca.
Googlebot è il crawler di Google. È un bot che scansiona il tuo sito seguendo i link. Inizia dalle pagine che conosce già, e da lì segue ogni link che trova verso nuove pagine.
Come Googlebot scopre un sito nuovo
Per un sito completamente nuovo, Google lo scopre principalmente in tre modi:
- Link da altri siti: Se un sito noto linka il tuo, Googlebot lo scopre seguendo quel link.
- Sitemap.xml: Un file che comunica a Google l'elenco delle pagine importanti del tuo sito.
- Google Search Console: Puoi sottomettere il tuo sito direttamente a Google e richiedere la scansione.
Il ruolo di robots.txt e sitemap.xml
robots.txt è un file che comunica a Googlebot quali parti del sito può scansionare. Purtroppo, molti sviluppatori lo configurano in modo da bloccare l'intero sito per errore. Risultato: Google non scopre nulla.
sitemap.xml è una lista di URL del tuo sito. Non garantisce l'indicizzazione, ma dice a Google dove cercare. È utile per siti grandi o con tante pagine nascoste (come i prodotti di un e-commerce).
Velocità di scoperta vs. indicizzazione
Scoperta e indicizzazione sono due fasi diverse. Google potrebbe scoprire una pagina in pochi giorni, ma decidere di non indicizzarla se non è di qualità, se è duplicata, o se il sito non ha autorità agli occhi di Google.