Glossario SEO + GEO
Robots.txt
Il file robots.txt indica ai crawler quali aree di un sito possono scansionare.
Spiegazione estesa
Vale sia per Googlebot sia per i crawler AI. Ogni direttiva di blocco va valutata rispetto agli obiettivi di visibilità.
Esempio pratico
Una regola disallow su tutta la cartella risorse impediva la scansione dell'intero blog aziendale.
Termini correlati
- GPTBotGPTBot è il crawler di OpenAI che raccoglie contenuti dal web, affiancato da OAI-SearchBot per le ricerche in tempo reale.
- Crawl budgetIl crawl budget è la quantità di risorse che un motore di ricerca dedica alla scansione di un sito in un dato periodo.
- IndicizzazioneL'indicizzazione è il processo con cui un motore di ricerca archivia una pagina scansionata rendendola eleggibile a comparire nei risultati.
Voce aggiornata il 1 luglio 2026.