Glossario SEO + GEO
Robots.txt
Il file robots.txt indica ai crawler quali aree di un sito possono scansionare.
Spiegazione estesa
Vale sia per Googlebot sia per i crawler AI. Ogni direttiva di blocco va valutata rispetto agli obiettivi di visibilità.
Esempio pratico
Una regola disallow su tutta la cartella risorse impediva la scansione dell'intero blog aziendale.
Perché conta per SEO e GEO
Robots.txt è uno dei concetti su cui SEO e GEO si sovrappongono di più: un errore o un'incoerenza qui si ripercuote su entrambi i canali di visibilità, mentre un intervento corretto produce effetto doppio senza lavoro aggiuntivo.
Termini correlati
- GPTBotGPTBot è il crawler di OpenAI che raccoglie contenuti dal web, affiancato da OAI-SearchBot per le ricerche in tempo reale.
- Crawl budgetIl crawl budget è la quantità di risorse che un motore di ricerca dedica alla scansione di un sito in un dato periodo.
- IndicizzazioneL'indicizzazione è il processo con cui un motore di ricerca archivia una pagina scansionata rendendola eleggibile a comparire nei risultati.
