Un e-commerce può perdere visibilità per un file di poche righe posizionato nella root directory del server. Quando il robots txt ecommerce è scritto male, i motori di ricerca sprecano tempo dove non serve e ignorano pagine che dovrebbero vendere.
Pensa al robots.txt come al personale all’ingresso di un negozio. Non decide cosa piace ai clienti, ma indica dove ha senso entrare e dove no. Se vuoi un sito web ordinato, questa è una delle prime scelte tecniche da fare bene.
Key Takeaways
- Il robots.txt guida i crawler per preservare il crawl budget, bloccando aree inutili come admin, carrello, checkout e ricerche interne, riducendo rumore e duplicati.
- Lascia sempre aperte product pages, category pages, homepage, blog e risorse tecniche (CSS, JS, immagini): sono le vetrine che portano traffico e vendite.
- Non usarlo per noindex (preferisci meta tag); testa in Google Search Console, includi sitemap e sii leggero con filtri/paginazione basandoti su dati reali.
- Blocca parametri inutili (utm, sessioni) con wildcards, aggiungi crawl-delay per bot non-Google e regole per AI bots come GPTbot.
Perché il robots.txt conta davvero in un e-commerce
Il file robots.txt dice ai search engine crawlers, come Googlebot, quali aree del sito web possono scansionare. Non è un tasto “cancella”, e qui molti sbagliano. Se blocchi una pagina, non stai sempre impedendo che appaia su Google. Stai soprattutto limitando la scansione.
Il robots.txt serve a togliere rumore, non a nascondere problemi.
In un e-commerce il rumore è ovunque. Filtri, ricerche interne, account utente, carrello, checkout, parametri di tracciamento. Se i crawler passano il tempo su queste URL, dedicano meno crawl budget a categorie e prodotti. Gestire il robots.txt aiuta a preservare il crawl budget riducendo il rumore.
Per questo le best practice del 2026 restano semplici: parti leggero, blocca solo le aree a basso valore e controlla il risultato in Search Console. Una configurazione con istruzioni User-agent ben definite è vitale per il mobile-first indexing, e rientra nei principi base del technical SEO. Se vuoi approfondire la logica del file, questa guida al robots.txt offre un buon quadro tecnico senza complicare troppo il tema.
Cosa bloccare nel robots txt ecommerce
Le aree da bloccare con la Disallow directive nel robots.txt sono, quasi sempre, quelle che non devono posizionarsi e che creano duplicati o pagine deboli. Qui non serve fantasia. Serve pulizia.
Questa tabella riassume i casi più comuni.
| Area | Conviene bloccarla | Motivo |
|---|---|---|
/admin/, login pages, account | Sì | Sono zone private, senza valore organico |
/cart/, checkout pages, conferma ordine | Sì | Sono pagine temporanee e spesso sensibili |
/search/ o internal search results | Sì | I search engine crawlers non dovrebbero sprecare risorse su internal search results, generano combinazioni infinite e contenuti poveri |
| URL con utm, sessioni o filtri inutili | Spesso sì | Creano duplicate content e sprecano scansione |
| Product pages e categorie | No | Sono le pagine che devono portare traffico |
C’è però una sfumatura importante. Non tutti i filtri della faceted navigation vanno bloccati in automatico. Se alcune combinazioni hanno domanda reale, per esempio una categoria “scarpe running donna” o un filtro brand molto cercato, quella pagina può avere valore. In quel caso bloccarla è come chiudere la vetrina migliore. Usa URL parameters e wildcards con la Disallow directive nel robots.txt per bloccare solo quelli inutili e prevenire duplicate content.
Lo stesso vale per la paginazione profonda. In cataloghi enormi può aver senso limitare alcune URL poco utili, ma sempre dopo aver visto dati e struttura. Regole rigide, qui, fanno più danni che bene.
Cosa lasciare indicizzare, e cosa non bloccare mai
Le pagine da lasciare aperte sono quelle che raccontano l’offerta. Product pages, category pages, homepage, pagine istituzionali e, se c’è, il blog. Sono loro che portano visite e vendite.
Anche le risorse tecniche contano. Non bloccare CSS, JavaScript e immagini. Se il motore non vede bene come si carica la pagina, capisce peggio il contenuto. È un errore vecchio, ma si vede ancora su molti siti web.
Un altro punto spesso ignorato riguarda l’indicizzazione vera. Se vuoi togliere una pagina dai risultati, il robots.txt non basta. Anzi, se la blocchi troppo presto, il motore potrebbe non leggere nemmeno il meta robots tag noindex. Prima devi scegliere la strada giusta, poi applicarla nel modo corretto.
Qui entra in gioco anche la struttura del sito web. Se una scheda prodotto ha un URL caotico, il robots.txt non la salva. Prima conviene sistemare l’architettura e gli indirizzi. Per questo è utile capire come scrivere URL schede prodotto, soprattutto quando il catalogo cresce.
Se vuoi collegare meglio scansione e presenza su Google, aiuta usare Google Search Console per verificare se le pagine vengono indicizzate correttamente in un ecommerce. Inoltre, leggere come indicizzare un sito ecommerce nel modo giusto fa la differenza. Il punto chiave resta uno: lascia aperto ciò che porta valore, chiudi ciò che crea solo attrito.
Un esempio semplice, e i controlli da fare subito
In molti casi basta una logica chiara nel tuo robots.txt: consenti prodotti e categorie, blocca carrello, checkout, ricerca interna e parametri inutili come ?utm= o alcuni ?filter=. Per i crawler non-Google, aggiungi un crawl-delay appropriato. Usa regole User-agent per gestire bot specifici, poi includi la XML sitemap, perché aiuta i crawler a trovare le pagine buone più in fretta. Inoltre, blocca AI bots come GPTbot con una regola User-agent mirata nel robots.txt, oppure considera llms.txt per un controllo dedicato.
Prima di pubblicare, fai tre controlli semplici:
- testa il file in Google Search Console con il robots.txt tester
- salva una copia della versione precedente
- ricontrolla il report di scansione dopo qualche giorno
Chi usa piattaforme specifiche può anche partire da un esempio pratico per Magento o adattare uno per Shopify, ma senza copiare tutto alla cieca. Ogni e-commerce ha categorie, filtri e priorità diverse.
La regola che evita i danni
Il robots.txt migliore non è il più lungo. È quello che, tramite User-agent e Disallow directive, lascia lavorare i search engine crawlers sulle pagine che contano e li tiene lontani dal rumore. Se il file blocca troppo, il negozio online parla a voce bassa proprio dove dovrebbe farsi trovare.
Frequently Asked Questions
Cos’è il robots.txt e perché conta per un eCommerce?
Il robots.txt indica ai crawler come Googlebot cosa scansionare, evitando sprechi di crawl budget su URL inutili. In un eCommerce, aiuta a prioritarizzare prodotti e categorie, riducendo rumore da filtri e checkout. Una configurazione leggera migliora il technical SEO e la visibilità.
Quali aree bloccare nel robots.txt di un eCommerce?
Bloccare admin, login, carrello, checkout, internal search e parametri inutili come utm o filtri deboli. Queste creano duplicati e pagine temporanee senza valore organico. Usa Disallow e wildcards per precisione, ma analizza prima i dati.
Cosa non bloccare mai nel robots.txt?
Mai bloccare product pages, category pages, homepage, pagine istituzionali e risorse come CSS, JS, immagini: i crawler devono vederle per indicizzarle bene. Bloccandole, rischi penalizzazioni nel rendering. Priorita al valore per traffico e conversioni.
Il robots.txt impedisce l’indicizzazione delle pagine?
No, blocca solo la scansione; per rimuovere dai risultati usa meta noindex. Se blocchi con robots.txt, il crawler non legge il tag noindex. Verifica in Search Console per conferme.
Come testare e ottimizzare il mio robots.txt?
Usa il tester di Google Search Console, salva backup e ricontrolla i report di scansione dopo giorni. Includi sitemap e regole User-agent specifiche. Adatta esempi per piattaforme come Magento o Shopify in base alla tua struttura.
Mantasito, siti web su misura con una base tecnica solida
Se stai valutando la creazione siti web per la tua attività, partire da una struttura pulita fa una differenza enorme. Mantasito lavora su siti web su misura, con attenzione al rapporto qualità prezzo, alla qualità del prodotto finale e al technical SEO come servizio core.
Molti cercano creazione siti web economici, altri puntano su creazione siti web rapidi o su creazione siti web sicuri. Il punto vero è unire queste esigenze senza sacrificare il progetto. Per aziende B2B e B2C, Mantasito costruisce siti web pensati per crescere bene, fin dalle basi tecniche come la configurazione corretta del robots.txt e delle regole User-agent, che spesso nessuno vede, ma che cambiano tutto.
