Cloudflare cambia le regole sui crawler AI dal 15 settembre
Il 15 settembre 2026 Cloudflare cambia il modo in cui i crawler AI accedono ai siti che ospita. Non è un dettaglio di nicchia: secondo i dati di Cloudflare Radar, circa il 20% del traffico Internet mondiale passa dai suoi server. Il cambiamento riguarda tecnicamente l'addestramento dei modelli linguistici, ma la conseguenza pratica tocca chiunque abbia un sito, non solo chi si occupa di intelligenza artificiale.
Perché Cloudflare lo fa adesso
Matthew Prince, CEO di Cloudflare, ha motivato il cambiamento con un dato che dice più di una slide di previsioni: per la prima volta il traffico generato da bot ha superato quello umano su Internet. La maggior parte del traffico che attraversa oggi la rete non è umana, ha detto Prince nell'annuncio ufficiale. Per decenni gli editori hanno accettato uno scambio semplice: i motori di ricerca leggono i contenuti e in cambio mandano lettori sul sito. Con le risposte generate dall'AI quello scambio si rompe, perché un chatbot può rispondere usando il contenuto di un sito senza mai mandare nessuno a visitarlo. Un editore può voler restare indicizzato su Google e allo stesso tempo non voler regalare lo stesso contenuto per addestrare un modello commerciale: fino a ieri i due permessi erano identici, con la stessa riga di robots.txt.
Da qui nasce anche la parte meno discussa dell'annuncio: un modello "Pay Per Use" che remunera gli editori quando il loro contenuto contribuisce davvero a una risposta generata dall'AI, non quando un bot lo scarica soltanto. Cloudflare ha aperto anche un cruscotto di attribuzione (Attribution Business Insights) per far vedere ai siti quali crawler li usano e quanto. Di fatto, Cloudflare si propone come l'intermediario che decide chi paga cosa per il traffico dei crawler, un ruolo che prima non esisteva perché nessuno separava questi permessi.
Come funziona la separazione dei crawler
Cloudflare ha diviso i crawler in tre categorie: Search, Agent e Training. Dal 15 settembre, per i nuovi domini che si registrano sulla piattaforma, i crawler di tipo Agent e Training saranno bloccati di default sulle pagine che mostrano pubblicità, mentre i crawler Search restano permessi. Chi ha già un sito su Cloudflare può comunque rivedere le proprie impostazioni prima di quella data, l'opzione non è automatica solo per i nuovi arrivi.
Il dettaglio che quasi nessuno controlla
Googlebot non è un crawler puro per la ricerca. Google usa lo stesso bot sia per indicizzare le pagine su Google Search sia per raccogliere contenuti utili all'addestramento dei propri modelli AI. Chi decide di bloccare i crawler di tipo Training, pensando di proteggere solo i propri contenuti dall'addestramento, rischia di bloccare anche l'indicizzazione su Google Search, perché per Googlebot è lo stesso bot a fare entrambe le cose. Bingbot e Applebot hanno la stessa natura mista, quindi lo stesso rischio si applica a chi punta su Bing o su Siri come fonte di traffico.
Cosa controllare se hai un sito su Cloudflare
La verifica richiede meno di un minuto e non serve un tecnico. Si entra nel pannello Cloudflare del proprio account, si apre la sezione AI Crawl Control, e da lì la scheda Crawlers mostra quali bot stanno effettivamente accedendo al sito in questo momento, con la possibilità di permettere, bloccare o configurare ogni crawler singolarmente invece di affidarsi al default per categoria. La scheda Settings, alla voce Block response, permette di controllare cosa succede esattamente quando un crawler viene bloccato. Il punto pratico è questo: prima di disattivare in blocco tutti i crawler Training per principio, vale la pena controllare nella lista se Googlebot, Bingbot o Applebot compaiono lì dentro.
Chi è davvero a rischio
La configurazione di default riguarda solo le pagine con pubblicità sui nuovi domini, quindi la maggior parte dei siti di piccole imprese, che non monetizzano con annunci, probabilmente non viene toccata in automatico. Il rischio reale è un altro: chi entra manualmente nelle impostazioni di sicurezza di Cloudflare e disattiva i crawler Training per principio, senza sapere della sovrapposizione con Googlebot, può far sparire il proprio sito da Google senza accorgersene fino al calo di traffico. È un errore silenzioso: non arriva nessun messaggio di conferma, il sito smette semplicemente di comparire.
Lo abbiamo controllato anche sul nostro sito, durante l'audit tecnico fatto questa settimana: profilomarketing.it non passa da Cloudflare, quindi la modifica non ci riguarda direttamente. Vale comunque la pena controllarlo per chiunque altro, perché la lezione di fondo non riguarda una piattaforma specifica. Bloccare l'AI e restare visibili su Google non sono più due decisioni separate come un anno fa, dato che i bot che le eseguono si sono in parte fusi. Prima di attivare un blocco su qualsiasi crawler, vale la pena capire esattamente quale traffico passa da quel bot, non fidarsi del nome della categoria.