Robots.txt e Sitemap XML

Cos'è il file robots.txt

Il file robots.txt è un file di testo posizionato nella directory root di un sito web (es. https://esempio.it/robots.txt) che comunica ai crawler dei motori di ricerca quali pagine o sezioni del sito possono o non possono essere scansionate. Fa parte del Robots Exclusion Protocol, uno standard utilizzato fin dai primi anni del web.

Questo file rappresenta uno degli strumenti fondamentali della SEO tecnica, poiché consente di gestire il crawl budget, ovvero il numero di pagine che Googlebot e altri bot visitano in un determinato periodo. Per siti di grandi dimensioni, un robots.txt ben configurato evita che i crawler perdano tempo su pagine irrilevanti come aree di amministrazione, pagine di ricerca interna o risorse duplicate.

"Un robots.txt mal configurato può impedire l'indicizzazione dell'intero sito. Verifica sempre la configurazione con Google Search Console prima di andare in produzione."

Sintassi e direttive principali

La sintassi del robots.txt si basa su regole semplici ma precise. Ogni blocco di istruzioni inizia con la dichiarazione dello User-agent a cui si applicano le direttive, seguito dalle regole di Allow e Disallow che valgono solo per quel bot. Quando più blocchi sono presenti, Googlebot applica quello con lo User-agent più specifico, ignorando gli altri: un dettaglio che spiega molti comportamenti apparentemente inattesi.

Le direttive principali sono:

• User-agent: specifica a quale crawler si applicano le regole (* per tutti i bot, Googlebot per Google)
• Disallow: blocca l'accesso a un percorso specifico (es. Disallow: /admin/)
• Allow: consente l'accesso a un sotto-percorso altrimenti bloccato (es. Allow: /admin/public/)
• Crawl-delay: imposta un ritardo in secondi tra una richiesta e l'altra (supportato da Bing, non da Google)
• Sitemap: indica la posizione della sitemap XML del sito

È importante ricordare che il robots.txt è una direttiva, non un obbligo: i crawler rispettosi come Googlebot lo seguono, ma bot malevoli possono ignorarlo. Per proteggere contenuti sensibili, è preferibile utilizzare autenticazione server-side o meta tag noindex.

Cos'è la Sitemap XML

La Sitemap XML è un file in formato XML che elenca tutte le URL importanti del sito web, fornendo ai motori di ricerca una mappa completa dei contenuti da indicizzare. A differenza del robots.txt che indica cosa non scansionare, la sitemap indica cosa dovrebbe essere scansionato.

Una sitemap ben strutturata è particolarmente utile in questi scenari:

• Siti di grandi dimensioni con migliaia di pagine
• Siti nuovi con pochi backlink esterni
• Pagine che non sono facilmente raggiungibili tramite link interni
• Siti con contenuti multimediali (video, immagini) o internazionali (hreflang)

La sitemap si collega direttamente alla strategia di struttura URL del sito: ogni URL presente nella sitemap deve restituire un codice 200 e non deve essere bloccata dal robots.txt.

Formato e best practice della Sitemap

Il formato standard della sitemap XML prevede un tag <urlset> contenente uno o più tag <url>, ciascuno con i seguenti elementi:

• <loc> (obbligatorio): l'URL completa della pagina
• <lastmod>: la data dell'ultima modifica in formato ISO 8601
• <changefreq>: la frequenza prevista di aggiornamento (daily, weekly, monthly)
• <priority>: un valore da 0.0 a 1.0 che indica la priorità relativa

Per siti di medie e grandi dimensioni, una buona strategia prevede la creazione di sitemap separate per tipologia di contenuto: una per le pagine principali, una per gli articoli del blog, una per i prodotti e-commerce. Questo approccio facilita il monitoraggio in Google Search Console.

Testing e validazione

Verificare la corretta configurazione di robots.txt e sitemap è un passaggio cruciale. Gli strumenti principali per il testing sono:

1. Google Search Console: offre un tester per robots.txt e consente di sottomettere la sitemap, monitorando errori di copertura e stato di indicizzazione
2. Strumenti di validazione XML: verificano che la sitemap rispetti lo schema XSD ufficiale del protocollo sitemaps.org
3. Screaming Frog / Sitebulb: tool di crawling che confrontano le URL nella sitemap con quelle effettivamente presenti sul sito, evidenziando discrepanze
4. Bing Webmaster Tools: simile a Search Console, permette di testare il robots.txt e sottomettere sitemap per l'ecosistema Bing

Dopo ogni modifica significativa alla struttura del sito, aggiorna la sitemap e verifica che il robots.txt non blocchi accidentalmente le nuove sezioni. I Core Web Vitals non dipendono direttamente da questi file, ma un crawling efficiente contribuisce a una migliore esperienza complessiva.

Un'abitudine operativa utile è impostare un controllo periodico: scaricare il robots.txt direttamente dal browser, confrontare il numero di URL dichiarate in sitemap con quelle effettivamente indicizzate (visibili nel rapporto "Pagine" di Search Console) e annotare ogni scostamento. Discrepanze ricorrenti — molte URL inviate ma non indicizzate — sono spesso il sintomo di contenuti duplicati o di pagine bloccate per errore, non di un problema della sitemap in sé.

Generare e automatizzare i file

Nella pratica quotidiana questi file raramente si scrivono a mano: i CMS più diffusi li generano in automatico. Su WordPress plugin come Yoast SEO o Rank Math producono una sitemap index aggiornata a ogni pubblicazione e gestiscono il robots.txt da pannello; framework come Next.js o Astro espongono file di configurazione dedicati che generano robots.txt e sitemap.xml in fase di build. L'obiettivo è che la mappa del sito resti sempre allineata ai contenuti reali senza intervento manuale.

Anche l'AI può accelerare il lavoro: puoi chiedere a un assistente di redigere un robots.txt commentato a partire dall'elenco delle cartelle da escludere, o di validare la struttura di una sitemap esistente. Resta però indispensabile la verifica umana, perché un suggerimento generico può proporre un Disallow troppo ampio. La regola pratica è semplice: ogni regola che blocca qualcosa va testata su Search Console prima di considerarla definitiva.

Errori comuni da evitare

Nella gestione di robots.txt e sitemap si commettono frequentemente errori che possono compromettere l'intera strategia SEO:

• Bloccare CSS e JavaScript nel robots.txt: impedisce a Google di renderizzare correttamente le pagine, compromettendo la SEO mobile e l'analisi dei contenuti
• Includere URL con redirect nella sitemap: ogni URL deve restituire codice 200, non 301 o 302
• Dimenticare la dichiarazione della sitemap nel robots.txt: aggiungi sempre Sitemap: https://tuosito.it/sitemap.xml in fondo al file
• Non aggiornare la sitemap dopo modifiche strutturali: URL obsolete generano errori 404 che impattano negativamente sulla percezione del sito
• Usare il robots.txt per nascondere pagine dall'indice: il disallow non impedisce l'indicizzazione se la pagina riceve link esterni. Usa il meta tag noindex per questo scopo

La combinazione di un robots.txt pulito e una sitemap XML aggiornata rappresenta la base di una solida SEO tecnica. Insieme alla corretta configurazione dei meta tag e a una struttura URL coerente, questi elementi garantiscono che i motori di ricerca possano accedere, comprendere e indicizzare efficacemente tutti i contenuti del tuo sito.