Google, OpenAI, Anthropic e Microsoft: un solo segnale in robots.txt contro lo scraping per l’AI

Quattro aziende, un solo segnale. Google, OpenAI, Anthropic e Microsoft hanno annunciato di voler riconoscere la stessa direttiva in robots.txt per bloccare lo scraping dei contenuti destinati all’addestramento dei modelli. Non è uno standard già approvato: è l’adesione a una proposta ancora in discussione all’IETF, scritta da Kevin Kelley, technical lead for standards di Anthropic.

Per chi gestisce un sito la differenza è concreta. Fino a ieri bisognava inseguire i crawler uno per uno, con il nome utente di ogni azienda. Adesso la richiesta si scrive una volta e vale per tutti quelli che hanno firmato.

Il token unico al posto della lista dei crawler

La proposta si chiama draft-kelley-aipref-training-preference-signal e vive nel gruppo di lavoro AIPREF dell’IETF, l’organizzazione che scrive gli standard aperti di internet. Il meccanismo è un token di policy dentro robots.txt, trattato come uno user agent dedicato.

Sul sito c’è un precedente utile: Anthropic sta preparando la quotazione al Nasdaq e ha interesse a presentarsi come l’azienda che detta le regole.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Il blocco dice tre cose insieme: niente accesso ai crawler che raccolgono materiale per l’addestramento, eccezione per la cartella del press kit e nessun effetto sul resto del file. La parte Allow passa spesso inosservata: si chiude la porta alla maggior parte del sito e se ne lascia aperta una pensata per la stampa.

Chi ha già un robots.txt pieno di eccezioni non deve buttare niente: i controlli per singola azienda continuano a funzionare accanto al segnale condiviso, quindi si può usare il token come scelta generale e Google-Extended come rifinitura per il singolo caso.

Cosa questo segnale non fa

Tre limiti vanno messi in chiaro subito.

Primo: non cancella lo scraping già avvenuto. Se una pagina è stata scaricata mesi fa, il contenuto è già nei dataset. La direttiva vale solo per il futuro.

Secondo: non tocca la ricerca. Bloccare i crawler di addestramento non significa sparire da Google Search, che usa agenti diversi. Chi confonde le due cose rischia di tagliarsi il traffico pensando di difendersi.

Terzo: non è ancora uno standard. È una bozza e vale solo per le aziende che hanno dichiarato di rispettarla. Un crawler di un provider che non ha firmato può ignorarla senza violare nulla.

Chi lo supporta e da quando

La forbice temporale è il dato più interessante. Anthropic è già operativa, mentre OpenAI non ha ancora una scadenza. Microsoft ha messo la data più precisa: 1 febbraio 2027.

Perché la mossa arriva adesso

Gli editori chiedevano da mesi un controllo unico, invece di un negoziato con ogni laboratorio di intelligenza artificiale. La proposta arriva dopo una stagione di cause legali e blocchi unilaterali, come quello di Amazon contro i bot che raccoglievano recensioni.

C’è anche un aggancio normativo. Google sottolinea che il meccanismo è coerente con il Code of Practice per i modelli GPAI dell’Unione Europea, che indica robots.txt come metodo principale per esprimere preferenze leggibili da una macchina. Una promessa volontaria che potrebbe diventare la casella da spuntare per essere in regola.

Domande frequenti

Il token in robots.txt toglie i miei contenuti da Google Search?

No. Il segnale riguarda i crawler che raccolgono materiale per addestrare i modelli, non quelli che indicizzano le pagine. Google ha confermato che interpreta il token come un blocco per Google-Extended, l’agente dedicato all’addestramento di Gemini.

Cosa succede ai contenuti già scaricati dalle aziende?

Restano dove sono. La direttiva non ha effetto retroattivo e nessuna delle quattro aziende ha annunciato la cancellazione dei dataset. Per quello servono accordi separati o azioni legali, non una riga di configurazione.

Devo firmare qualcosa o registrarmi per usarlo?

No. Il token si aggiunge al file robots.txt che il sito già pubblica e non richiede account, verifiche o rapporti commerciali. La verifica è a carico dei provider: se il file è bloccato da un firewall, il segnale non arriva.

Funziona anche con i crawler che non hanno aderito?

No, ed è il limite più grosso. Un provider fuori dall’accordo può continuare a raccogliere contenuti ignorando il token, senza violare nulla. La speranza dei firmatari è che l’adesione diventi un requisito di mercato, non un obbligo.

Quando sarà davvero uno standard?

Non c’è una data. La bozza è in discussione nel gruppo AIPREF e il vocabolario completo non è chiuso. Il supporto delle quattro aziende rende il meccanismo utilizzabile prima dell’approvazione formale: lo standard lo stanno scrivendo mentre lo usano.