Generatore robots.txt
Regole di scansione senza errori di sintassi
Compone un file robots.txt valido scegliendo cosa bloccare, quali crawler ammettere e dove si trova la sitemap. Include gli schemi tipici di WordPress e degli e-commerce.
- Gratuito e senza registrazione
- Elaborazione nel browser
- Nessun limite di utilizzo
Usa lo strumento
Tutto viene elaborato sul tuo dispositivo
Modello di partenza
Applicare un modello sostituisce gruppi e sitemap con quelli previsti dallo schema.
Tiene fuori l’area di amministrazione e le pagine di ricerca interna, lasciando raggiungibili gli allegati e la chiamata admin-ajax usata dai temi.
Gruppi user-agent
Ogni gruppo vale per un crawler specifico; l’asterisco indica tutti quelli che non hanno un gruppo dedicato.
Sitemap
Indica sempre l’URL assoluto. Puoi elencare più sitemap, anche su domini diversi.
Blocco rapido dei crawler
Ogni casella selezionata aggiunge un gruppo con «Disallow: /». I crawler seri rispettano queste indicazioni, gli altri le ignorano.
Crawler AI
Scraper e strumenti di analisi
File generato
Il file va servito dalla radice del dominio, in chiaro e con tipo text/plain: un robots.txt in una sottocartella non viene letto. Ogni sottodominio ha il proprio file.
Non è uno strumento di sicurezza: le regole sono indicazioni volontarie e i percorsi elencati diventano pubblicamente visibili. Per proteggere davvero una risorsa servono autenticazione o regole sul server; per tenere una pagina fuori dai risultati serve invece il meta tag noindex, che richiede una pagina scansionabile.
A cosa serve
Quando lo usiamo anche noi
Non è uno strumento messo qui per riempire una pagina: sono operazioni che ci capita di fare durante i progetti dei clienti. Se ti servono più spesso di quanto vorresti, probabilmente c’è un processo da automatizzare.
Guarda cosa facciamo per le aziende- 1Escludere aree riservate e pagine di servizio dalla scansione
- 2Dichiarare la sitemap per farla trovare subito ai motori
- 3Partire da uno schema corretto invece che copiarlo a caso
- Nessun dato inserito qui viene inviato ai nostri server: lo strumento funziona interamente nel browser, anche offline dopo il primo caricamento.
Guide correlate
Altri strumenti utili
Vedi tutti gli strumentiParliamone
Ti serve qualcosa di più di generatore robots.txt?
Progettiamo software, infrastrutture e automazioni per aziende che vogliono smettere di fare a mano operazioni ripetitive. Il primo confronto è gratuito.