Classificatori di sicurezza: cosa sono e perché l’AI si ferma a metà risposta

Chiedi a un modello di analizzare il firmware di un router e la risposta si ferma a metà. A volte compare un avviso generico su un controllo di sicurezza, a volte la risposta cambia: diventa più corta, più prudente, oppure la conversazione passa a un modello meno capace senza che tu abbia toccato niente.

Non è un bug. È un secondo modello, addestrato apposta, che legge quello che stai chiedendo e decide di fermare la risposta. Si chiama classificatore di sicurezza.

È una delle parti meno raccontate dell’AI moderna e delle più invasive quando sbaglia.

Che cos’è un classificatore di sicurezza

Un classificatore non è il modello che scrive. È un modello separato che riceve un testo, per esempio il prompt di un utente o una risposta in corso, per poi restituire un’etichetta con un punteggio. Qualcosa come “capacità cyber: 0,87” oppure “contenuto sessuale: 0,02”.

La differenza è strutturale. Il modello generativo ragiona sul problema e produce linguaggio. Il classificatore confronta il testo con i pattern imparati da esempi etichettati e tira fuori una probabilità. Non sa cosa sia un exploit, sa che sequenze di parole simili, nei suoi esempi, erano etichettate come cyber offensivo.

Questo spiega perché il comportamento è incoerente. Lo stesso prompt, con le stesse intenzioni, può passare o essere fermato a seconda di come è scritto, della lingua e di quanto è lungo il testo. Il classificatore non legge le intenzioni, legge la superficie.

Dove si infila nella pipeline

Un classificatore può intervenire in quattro punti diversi. Il punto in cui si inserisce cambia quello che vedi.

• In ingresso. Il prompt viene fermato prima che il modello generativo lo veda. Il messaggio tipico è “non posso aiutarti con questa richiesta”.
• In uscita. La risposta è già stata generata, il controllo la blocca prima di mostrarla. Il risultato è un errore, non un testo troncato.
• A metà generazione. Il controllo gira token per token e interrompe il flusso mentre il testo esce. È il caso di Claude Opus 5.5 a fine ottobre 2026: secondo chi ha documentato il problema, la risposta si ferma a metà con un avviso di controllo. Anthropic non ha commentato, il caso è raccontato nell’articolo sul blocco di Opus 5.5.
• Dirottamento. La richiesta non viene bloccata, viene inoltrata a un modello con impostazioni più prudenti. Nel caso di Opus 5.5 alcuni utenti raccontano di essere passati a Opus 4.8.

L’ultimo caso è il più insidioso perché non produce errori: ottieni una risposta, solo peggiore. Se il modello sembra diventato stupido di colpo, chiediti se sei finito su un modello diverso.

Le famiglie che contano

Non esiste un solo classificatore: i sistemi di sicurezza ne montano una batteria, ognuno con il suo compito e la sua soglia. È lo stesso principio dietro alla moderazione automatica dei contenuti su YouTube, con la differenza che lì il controllo arriva prima della pubblicazione e non a metà di una risposta privata.

• Sicurezza dei contenuti. Danni per le persone: istruzioni per armi, autolesionismo, materiale su minori.
• Intento. Cosa vuole fare l’utente, dedotto dal testo. La famiglia più difficile, perché l’intento non è scritto da nessuna parte.
• Policy. Violazioni dei termini d’uso: elusione dei limiti, rivendita di accesso, uso automatizzato non consentito.
• Cyber. Malware, exploit, tecniche offensive. Genera più falsi positivi, perché il linguaggio della sicurezza legittima e quello dell’attacco si somigliano.
• Qualità. Non è sicurezza vera: spam, prompt injection, output incoerente. Serve a tenere pulito il prodotto.

Nella pagina del Cyber Verification Program Anthropic lo dice esplicitamente: i modelli in disponibilità generale si possono usare per revisione del codice, threat modeling, patch di problemi noti, ricerca di vulnerabilità nel proprio codice e triage degli avvisi. Altri lavori, come l’analisi di malware o la validazione di exploit, possono essere interrotti dai classificatori.

La frase ammette due cose: il blocco è previsto dal sistema, non è una decisione estemporanea del modello. E non coincide con l’illegalità del compito: la stessa attività può essere legittima e comunque fermata.

Perché sbaglia e perché continuerà a sbagliare

Tutti i classificatori lavorano su una soglia. Il modello produce un punteggio tra 0 e 1, un pezzo di codice decide dove tagliare: sopra 0,8 blocca, sotto 0,5 lascia passare, in mezzo dipende dal prodotto.

Spostare la soglia sposta il problema, non lo elimina. Una soglia bassa produce falsi positivi, cioè lavoro legittimo fermato. Una soglia alta produce falsi negativi, cioè roba pericolosa che passa. Nessun valore azzera entrambi, perché il classificatore lavora su probabilità e i suoi esempi non coprono tutti i casi.

I falsi positivi quasi nessuno li misura. Non risultano nelle statistiche dei fornitori, non compaiono nelle note di rilascio, non finiscono nei benchmark. Un’azienda sa quante richieste ha bloccato, non quante erano innocue.

C’è poi l’opacità. Le soglie non sono note, le categorie sono descritte a grandi linee e i classificatori vengono aggiornati senza changelog. Un prompt che funziona oggi può smettere di funzionare domani senza che sia cambiato niente nel modello.

Cosa succede quando scatta

Le forme frequenti sono quattro. La prima è un messaggio esplicito, con l’invito a riformulare. La seconda è la risposta troncata, che si interrompe a metà frase senza spiegazione. La terza è l’invito a riformulare inutile: il problema non è la formulazione ma l’attività. La quarta è il silenzio: nessun avviso, risposta più breve e generica e l’utente che pensa di aver sbagliato prompt.

Manca però l’informazione: categoria, punteggio e soglia restano nascosti. Senza questi dati riformulare è un tiro al buio.

Cosa un classificatore non è

Tre equivoci ricorrenti, tutti comprensibili.

• Non è una lista nera. Le liste nere cercano parole esatte. Un classificatore valuta il testo intero, quindi può fermare una frase senza parole vietate e lasciar passare una frase che ne contiene una.
• Non è il modello che ci ripensa. Il modello generativo non ha un pulsante morale che si attiva a metà. Se la risposta si interrompe, l’interruzione arriva da fuori.
• Non è una sentenza. Un blocco dice che il testo somiglia a qualcosa che il sistema considera rischioso. Non dice che stai facendo qualcosa di illegale.

Come conviverci

La prima cosa utile è cambiare il contesto, non la parola chiave. Sostituire “exploit” con un sinonimo non funziona: il classificatore non guarda la parola, guarda l’insieme. Meglio spiegare chi sei, su cosa lavori, con quale autorizzazione. “Test di penetrazione autorizzato sul firmware di un dispositivo che possiedo, mi serve capire come viene gestita la memoria” è un prompt diverso da “come trovo un buffer overflow qui”, anche se chiede la stessa cosa.

La seconda strada sono i canali ufficiali. Anthropic ha il Cyber Verification Program, con tre livelli: Defense Access, Red Team Access e Specialized Access. Serve a ottenere classificatori meno aggressivi per i professionisti verificati; la pagina parla di “reduced blocking classifiers”. Defense è aperto anche ai singoli su piano a pagamento, Red Team e Specialized sono riservati alle organizzazioni. La revisione richiede fino a sette giorni lavorativi e comporta la conservazione dei dati, usata per monitorare gli abusi.

L’accesso copre il lavoro sul codice e sull’infrastruttura della propria organizzazione. Per il codice dei clienti serve un’approvazione separata.

La terza strada vale per chi sviluppa. Gli endpoint di moderazione, per esempio quelli di OpenAI, restituiscono per ogni categoria un flag e un punteggio, così vedi perché un testo è stato segnalato invece di ricevere un no secco.

Il dibattito aperto

La contrapposizione tra Anthropic e OpenAI non è nuova: si è vista anche quando OpenAI ha preso il posto di Anthropic nell’infrastruttura IA del Pentagono. Sui classificatori si scontrano due esigenze. Chi li vuole stretti porta esempi di richieste che, senza filtro, avrebbero prodotto materiale per attacchi reali. Chi li critica porta ricercatori e manutentori open source fermati su attività normali.

Manca però il terreno comune per discuterne: i numeri. Senza dati sui falsi positivi, ogni discussione finisce in aneddoti contrapposti. Un fornitore che pubblicasse la percentuale di richieste bloccate e poi confermate rischiose dopo revisione umana farebbe più di dieci post di blog.

La direzione è chiara: i classificatori aumentano e si spostano sempre più vicino alla generazione, in tempo reale.

Checklist: classificatore o problema tecnico

• La richiesta innocua funziona? Se no, il problema è di rete o di quota.
• La risposta si tronca o non parte? Troncamento vuol dire controllo in streaming, nessuna risposta vuol dire filtro in ingresso.
• Il messaggio cita un controllo o una policy? È un classificatore: serve il canale di verifica del fornitore.
• La qualità è calata senza errori? Probabile dirottamento verso un modello più prudente e meno capace.
• Il blocco arriva sempre sullo stesso tipo di attività, comunque la formuli? Non è la forma, è la categoria.

Domande frequenti

Un classificatore è la stessa cosa del filtro di un social network?

No, anche se l’idea è simile. Il filtro di un social decide se pubblicare un contenuto destinato a un pubblico. Un classificatore su un modello AI decide se completare una richiesta privata in tempo reale, su testi che spesso non hanno senso da soli. La seconda è più difficile, perché mancano il contesto e il tempo di una revisione.

Perché lo stesso prompt a volte funziona e a volte no?

Il punteggio dipende dal testo esatto, dalla lunghezza, dalla lingua e da cosa c’è prima nella conversazione. Basta una riformulazione minima o un messaggio in più nello storico per spostare la probabilità oltre la soglia.

Riformulare la richiesta serve sempre?

Serve quando il classificatore ha reagito a una forma particolare, per esempio a un termine tecnico isolato. Non serve quando ha riconosciuto l’attività: cambiare le parole non sposta la categoria. La differenza si capisce in due o tre tentativi.

Un blocco significa che ho violato i termini d’uso?

No. I classificatori sono tarati per sbagliare dalla parte della prudenza, quindi fermano anche attività consentite. La violazione dei termini è una valutazione separata, fatta da persone e con criteri diversi.

I classificatori si possono disattivare?

Sul prodotto consumer no. Sui prodotti enterprise e sui programmi di verifica si ottengono classificatori meno aggressivi, non l’assenza. Chi rivendica un modello “senza filtri” di solito vende un modello più piccolo, o un accesso che viola i termini.

Vale anche per i prodotti pensati per un pubblico giovane, dove i filtri sono più stretti e le preoccupazioni sulla sicurezza di Gemini per i bambini hanno già mostrato quanto sia difficile calibrare la soglia. La parte che conta è saperli riconoscere. Un classificatore non è un giudizio sul tuo lavoro: è un punteggio su una soglia, che come tutti i punteggi sbaglia in entrambe le direzioni.