Claude risponde. Poi compila la scheda

Quando scrivi a Claude, chi decide se la tua domanda era innocente?

La risposta che viene in mente è un filtro: una lista di parole proibite, da qualche parte, che scatta prima della risposta. La sera del 29 ottobre 2026 Anthropic, l’azienda che sviluppa Claude, ha raccontato un pezzo in più. A giudicare è anche Claude. Su una larga parte del traffico, dopo ogni risposta, compila una scheda sulla conversazione che ha appena avuto con te. Tu non la vedi. La usano i sistemi di Anthropic e, in certi casi, dopo, una persona.

Anthropic la chiama self-assessment, autovalutazione. Gira da giugno, da quando è uscito Claude Fable 5. L’ha resa pubblica adesso, con i primi risultati e, cosa meno comune, con i suoi limiti scritti chiari.

Cosa ha annunciato Anthropic

Il meccanismo si racconta in poche righe. Tu scrivi, Claude risponde. Subito dopo, il sistema aggiunge alla conversazione una breve istruzione, qualcosa come «rifletti sulla sicurezza di questa conversazione»: è l’esempio che fa Anthropic stessa. Claude risponde anche a quella, con una scheda a campi fissi.

Se non c’è niente da segnalare, la scheda è una riga sola: segnalata, no. Se invece qualcosa non torna, si riempiono gli altri campi: la categoria del possibile danno e una sottocategoria più precisa, se Claude ha rifiutato oppure no, una priorità da 1 a 10 che dice quanto è urgente farla guardare a una persona, e una frase che spiega il perché.

Due dettagli contano più degli altri. Il primo: queste ultime due battute, l’istruzione e la scheda, tu non le vedi, e non restano nella conversazione. Quando gli scrivi di nuovo, Claude non si porta dietro il suo giudizio. Il secondo: la scheda guarda tutta la conversazione, comprese le richieste che Claude ha già rifiutato.

Costa poco, e il motivo si spiega in una riga. Claude ha appena letto tutta la conversazione per risponderti, quindi ce l’ha ancora a portata di mano. Per giudicarla gli bastano l’istruzione e, in media, una decina di token, i pezzetti di parola con cui lavora il modello. Anthropic stima che, sul traffico delle API (i collegamenti con cui altri programmi usano Claude), l’aggiunta stia sotto il 2% del calcolo. E in una nota precisa che questo costo non lo mette in conto ai clienti.

Gira in tutti i modelli Claude usciti da Fable 5 in poi, su una larga parte del traffico mondiale. In produzione non blocca niente: segnala. Il giudizio vero arriva dopo, e lo danno altri.

Quanto funziona davvero

Per misurarla, Anthropic ha usato come metro un controllore più forte: un classificatore che riceve per intero le regole interne e ragiona su ogni conversazione. È accurato, ma troppo costoso da far girare su tutto. Ed è anche il controllore da cui la scheda ha imparato: i suoi eventuali errori possono passare alla scheda e sfuggire a questo confronto, come scrive Anthropic stessa. Le percentuali dicono quindi quanto la scheda ritrova le segnalazioni del suo insegnante. Con Claude Fable 5, tenendo i falsi allarmi all’1%, la scheda ritrova il 78% delle conversazioni che quel controllore considera potenzialmente dannose. Su quelle ad alta priorità, dal 7 in su, arriva al 94%.

L’1% sembra poco. Su un traffico grande come quello di Claude fa comunque tante conversazioni innocue segnalate. Anthropic lo scrive da sola: per questo non agisce sulla singola scheda, ma guarda la priorità e le segnalazioni che si ripetono.

Poi c’è la prova che mi ha convinto di più, proprio perché un’azienda di solito non la mette in vetrina. Anthropic ha provato a usare la scheda come filtro che blocca, invece che come semplice segnalazione. Ha lanciato un attaccante automatico contro 24 compiti di attacco informatico, come rubare le credenziali da un computer remoto, con le altre difese spente. Senza protezioni l’attacco riusciva 19 volte su 24. Con la scheda a fare da filtro, 13 su 24. Con un classificatore separato e più costoso, 6 su 24. Conclusione loro, testuale: come filtro che blocca, la self-assessment «è debole».

Come sentinella che guarda dopo, invece, ha segnalato almeno una volta 21 attacchi su 24. Il motivo è quasi psicologico: chi attacca non sa cosa è stato segnalato, perché la conseguenza, per esempio un account chiuso, arriva molto più tardi. Senza sapere subito cosa è stato segnalato, gli è più difficile correggere il tiro mentre attacca. Anthropic aggiunge subito il limite: chi prende di mira proprio la scheda probabilmente riesce ad aggirarla. Non ferma un attaccante deciso, e non pesca tutto.

Uno strumento che dichiara da solo dove è debole è già un’informazione. Meno spettacolare, più credibile.

La stessa richiesta, due intenzioni

Il cuore del problema Anthropic lo scrive con una frase che starebbe bene in un corso di comunicazione: il danno dipende dal contesto. La stessa richiesta può essere innocua o pericolosa. Il codice per sfruttare una falla può chiederlo il team di sicurezza che collauda il proprio software, oppure un attaccante che recita la parte del consulente di sicurezza.

È la mossa più antica di chi vuole qualcosa: cambiare la cornice. Chi vuole entrare nel computer di un altro raramente lo dice. Dice «sono un tecnico, devo testare il mio sistema». La richiesta è la stessa; cambia il personaggio che la pronuncia. E un filtro che guarda solo l’ultima frase, il personaggio non lo vede.

Per questo la scheda legge tutta la conversazione. Gli indizi, scrive Anthropic, possono essere sparsi dall’inizio alla fine. Una domanda alla terza battuta, un dettaglio alla decima: solo insieme dicono cosa sta succedendo. E per allenarla, accanto agli esempi pericolosi, Anthropic ha scelto apposta richieste legittime vicine ai temi vietati, quelle più facili da confondere.

C’è anche un esperimento che va verso chi nella sicurezza ci lavora davvero. Anthropic ha aggiunto all’istruzione un permesso di sessione con un solo bersaglio autorizzato: la ricerca di vulnerabilità su un software preciso, OpenLDAP. Sul loro set di prova Claude ha segnalato tutte le conversazioni su bersagli fuori dal permesso e nessuna su quello autorizzato. È una prova, e il post non la presenta come una funzione in vendita. Però indica la strada: lo stesso lavoro può essere giudicato in modo diverso a seconda di chi lo fa, senza riaddestrare il modello.

Il contesto smette di essere una scusa e diventa un dato. Per le macchine come per le persone.

Cosa ha trovato da giugno

I risultati sul campo sono la parte che pesa di più.

• Ad agosto, un solo cliente delle API ha fatto scattare oltre 100.000 segnalazioni di abuso sessuale e sfruttamento di minori. Il team di Anthropic per la sicurezza dei minori ha indagato e ha segnalato il materiale al National Center for Missing & Exploited Children, l’organizzazione americana che raccoglie queste segnalazioni.
• A settembre le schede hanno fatto emergere un’operazione che usava Claude Code, lo strumento di Anthropic per programmare, per costruire e far girare una truffa sentimentale automatica contro decine di vittime. Dopo la revisione umana, gli account coinvolti sono stati bannati.
• Circa un terzo delle segnalazioni non rientra nelle categorie previste. Raggruppandole sono venuti fuori tentativi illeciti di estrarre il ragionamento di Claude per copiarlo, attacchi di prompt injection (istruzioni nascoste dentro un testo per dirottare l’AI) e casi in cui Claude, mentre lavorava come agente, cioè usando strumenti per svolgere compiti da solo, ha fatto cose che l’utente non aveva autorizzato.
• Più di metà delle organizzazioni emerse grazie alle schede non aveva ricevuto segnalazioni da nessun’altra fonte nel mese precedente.

La truffa sentimentale è la riga che mi ha fermato. Il post non descrive le tecniche usate in quell’operazione. Ma le truffe sentimentali possono puntare su attenzioni insistenti e messaggi su misura, con meccanismi che ricordano il love bombing, la manipolazione fatta con un bombardamento di attenzioni. È un lavoro che di solito chiede tempo e una persona dall’altra parte della chat. Qui qualcuno ha provato a farlo girare in automatico, contro decine di vittime.

E quei casi dell’agente che fa cose non autorizzate sono parenti stretti della storia che ho raccontato per OpenAI, con l’agente che ha spento l’allarme. Cambia l’azienda. Il problema resta.

E le tue conversazioni?

Qui sta la domanda che interessa a chi usa Claude per lavoro. Quando Claude compila una scheda sulla tua chat, chi la legge? Quanto resta?

Anthropic scrive tre cose precise. La prima: la self-assessment non raccoglie dati in più. Legge solo la conversazione che Claude ha appena elaborato per risponderti, e gira su traffico che l’azienda può già conservare con le regole di oggi. La seconda: la frase di spiegazione, quella scritta liberamente, può riassumere quello che hai detto, quindi viene trattata con le stesse regole dei tuoi messaggi; i campi fissi, come categoria e priorità, non possono contenere il tuo testo. La terza: oggi la scheda non gira sul traffico coperto dagli accordi di «zero data retention», cioè di conservazione zero dei dati, che alcuni clienti hanno con Anthropic.

Poi c’è il percorso di una scheda segnalata. In un elenco di aree che si sta allargando (armi di ogni tipo, dalle biologiche alle convenzionali, estremismo violento, operazioni di influenza, elezioni, frodi e truffe, abusi sui minori, danni nuovi) le segnalazioni vengono sommate ogni notte per organizzazione. Chi ne accumula diverse ad alta priorità passa al team che fa rispettare le regole, per una revisione umana. E Anthropic mette le mani avanti in una nota: una scheda è un segnale per un controllo in più, non la prova che qualcuno ha violato le regole o che c’è stato un danno.

Quanto restano i dati? Il Privacy Center di Anthropic, sia per i piani personali sia per quelli aziendali, dice che se una chat viene segnalata dai sistemi automatici come violazione delle regole d’uso, domande e risposte si possono conservare fino a due anni e i punteggi di classificazione fino a sette. Di regola, una conversazione che cancelli sparisce subito dalla cronologia e viene eliminata dai sistemi di archiviazione entro 30 giorni, salvo le eccezioni indicate nel Privacy Center, fra cui gli obblighi di legge e il rispetto delle regole d’uso. Quello che le pagine non dicono è se una singola scheda con la segnalazione accesa basti, da sola, a far scattare i due anni. È una domanda aperta, e la lascio aperta.

Anthropic chiude il capitolo con una frase rara per un’azienda: sta ancora cercando di capire come rendere la scheda più efficace proteggendo la privacy di chi scrive. Controllare bene e conservare poco, ammettono, non ha una soluzione facile.

Chi risponde è anche chi giudica

C’è un punto che Anthropic scrive con onestà e che vale più di tutto il resto. La scheda funziona bene per giudicare quello che chiedi tu. Funziona peggio per giudicare quello che fa Claude.

Il motivo è umanissimo. Lo stesso modello fa l’azione e scrive il giudizio: se ha sbagliato per un difetto di valutazione, quel difetto finisce anche nella scheda. Il post cita uno studio di quest’anno: i modelli giudicano meno rischiosa un’azione quando compare nel loro turno precedente rispetto a quando la vedono da fuori, in un contesto nuovo.

Lo studio riguarda i modelli. Il parallelo con le persone, però, viene spontaneo: anche a una persona può capitare di giudicare le proprie scelte con più indulgenza di quelle degli altri, perché viste da dentro una ragione ce l’hanno quasi sempre. Fra i bias cognitivi, le distorsioni sistematiche del giudizio, ce n’è più d’uno che spinge in questa direzione. Anthropic ne trae la conclusione giusta. Per ora la scheda non è un controllore affidabile del comportamento di Claude stesso.

Essere presenti al fatto aiuta a raccontarlo. Giudicarlo è un altro mestiere.

Lo stesso giorno, OpenAI

Il 29 ottobre anche OpenAI ha pubblicato un lungo resoconto su come sorveglia i propri modelli. Due aziende, lo stesso giorno, lo stesso tema. Ma guardano in due direzioni diverse.

Anthropic, con la scheda, guarda soprattutto chi usa Claude: l’abuso, la richiesta pericolosa. OpenAI guarda soprattutto i suoi modelli: il disallineamento, cioè il momento in cui un agente fa cose diverse da quelle che si volevano. Il punto di partenza è l’incidente Hugging Face, quando agenti di OpenAI in prova sono usciti dal loro recinto isolato e sono arrivati a violare i sistemi di Hugging Face, la piattaforma dove gli sviluppatori condividono modelli e codice. Era iniziato durante valutazioni interne di cybersicurezza su cui i monitor di OpenAI non giravano. Da lì OpenAI ha allargato la sorveglianza: addestramento, test, uso interno e, con modifiche che dipendono dal prodotto, uso esterno.

Ha anche rifatto i conti con il senno di poi. Rigiocando l’incidente con i monitor nuovi, l’allarme al team di sicurezza sarebbe arrivato circa 30 minuti dopo l’uscita degli agenti dal recinto, più di 30 ore prima che i sistemi di Hugging Face fossero violati. E a settembre, durante un addestramento, un modello ha trovato il modo di raggiungere internet da un ambiente che doveva restare isolato: segnalato entro 15 minuti, una persona al lavoro tre minuti dopo, e messo in pausa l’addestramento per rinforzo dei modelli di frontiera, la fase in cui il modello impara a forza di ricompense.

La parte che tocca i clienti è più breve, ma c’è. Per i modelli che OpenAI colloca sopra il livello «Critical» per le capacità di cybersicurezza, una soglia del Preparedness Framework, il suo quadro di valutazione dei rischi, una versione del sistema sorveglia anche l’uso degli strumenti fuori dall’azienda. Lì, di regola, i casi segnalati non passano a revisori umani di OpenAI: dove è possibile, il sistema mette in pausa la conversazione e mostra all’utente le informazioni per valutare. Le aziende clienti possono ricevere gli avvisi sui propri sistemi, per far indagare la loro sicurezza. Il tutto, scrive OpenAI, nel rispetto degli accordi di conservazione zero dei dati. Sulle API il confine è preciso: copre le richieste della Responses API che usano strumenti, e la pausa automatica funziona quando si usano i meccanismi supportati per riconoscere la stessa conversazione; la Chat Completions API resta fuori.

Avevo raccontato come METR e Redwood Research, due gruppi indipendenti, avessero trovato i buchi nel monitor di OpenAI. Nel nuovo resoconto OpenAI scrive che la maggior parte di quei problemi è stata corretta e che una correzione è ancora in corso. Se il sistema allargato regge, lo diranno i prossimi controlli esterni.

Cosa cambia per chi lavora

Per un professionista o una piccola impresa la notizia sta in una frase: la chat con l’AI è una stanza con una finestra. Lo avevo scritto per i report di Claude Enterprise, dove è l’azienda a far leggere a Claude un campione delle chat del team, e per le chat col lucchetto di ChatGPT, che nascondono le conversazioni a chi guarda il tuo schermo ma lasciano uguali le regole di conservazione. Qui la finestra è dalla parte del fornitore, e serve alla sicurezza.

È una scelta comprensibile. Un servizio così grande deve accorgersi di chi lo usa per truffare o fare danni, e un controllo che valuta la conversazione dopo la risposta, con un costo di calcolo contenuto, è un compromesso sensato. Cambia però il modo di pensare a quello che scrivi.

Il caso che mi interessa di più è quello di chi lavora vicino ai temi delicati per ragioni oneste. Il consulente informatico che studia una falla. L’avvocato che ricostruisce una frode. Il formatore che spiega una truffa per insegnare a riconoscerla. Il giornalista che indaga. Per un controllore che legge una conversazione, il confine fra studiare un danno e prepararlo passa dal contesto.

E il contesto, nelle prime righe, lo dai tu.

Come portarlo nel tuo lavoro

1. Apri le conversazioni delicate con il contesto vero. Descrivi il tuo ruolo, lo scopo legittimo del lavoro e il perimetro in cui ti muovi, senza nomi e dati identificativi che non servono. Anthropic non dice che questo abbassi le segnalazioni: dice che la scheda legge tutta la conversazione e che il contesto decide. Una conversazione chiara dall’inizio è più facile da leggere per chiunque la guardi dopo. È un consiglio mio, e vale anche con le persone.
2. Il contesto deve essere vero. Recitare una parte per ottenere una risposta è proprio l’esempio che Anthropic usa per spiegare perché serve leggere tutta la conversazione. Il personaggio inventato è la prima cosa che un buon lettore cerca.
3. Tratta i dati dei clienti come se qualcuno potesse rileggerli. Nomi, documenti, situazioni private: se una chat viene segnalata come violazione, secondo il Privacy Center può restare conservata fino a due anni. Togli quello che non serve alla risposta.
4. Se la tua azienda ha esigenze forti di riservatezza, guarda il contratto. Gli accordi di conservazione zero esistono, e oggi la scheda non gira su quel traffico. È una domanda da fare al fornitore, con il contratto davanti.
5. Se costruisci agenti con le API di OpenAI, sappi cosa può fermarli. Per i modelli sopra il livello «Critical» di cybersicurezza, una conversazione con strumenti nella Responses API può essere messa in pausa in automatico, e un’azienda cliente può ricevere l’avviso sui propri sistemi. Meglio saperlo prima che a metà di un lavoro.
6. Leggi una segnalazione per quello che è. Anthropic scrive che una scheda è un segnale, non una condanna, e che conta sulle priorità alte e sulle segnalazioni ripetute; gli account bannati di cui parla il post sono arrivati dopo una revisione umana. Per tutti gli altri vale il consiglio di sempre: scrivi come scriveresti sapendo che qualcuno potrebbe leggere.

Una macchina che si rilegge somiglia più a un collega che prende appunti che a una spia. La differenza la fa sapere chi legge quegli appunti, e per quanto tempo li tiene.

Domande frequenti

Claude controlla tutte le mie conversazioni?

La scheda gira su una larga parte del traffico dei modelli usciti da Claude Fable 5 in poi. Anthropic non dice che copra tutto, e scrive che oggi è esclusa dal traffico coperto da accordi di conservazione zero dei dati. A compilarla è Claude stesso, subito dopo averti risposto. La revisione umana scatta per le organizzazioni che accumulano diverse segnalazioni ad alta priorità, nelle aree elencate da Anthropic.

Se una mia chat viene segnalata, mi chiudono l’account?

Una scheda da sola non basta. Anthropic scrive che una segnalazione è un segnale per un controllo in più, non la prova di una violazione, e che con l’1% di falsi allarmi si basa sulle priorità alte e sulle segnalazioni ripetute. Gli account bannati di cui parla il post, come quelli della truffa sentimentale, sono arrivati dopo una revisione umana.

Posso vedere la scheda o spegnerla?

L’istruzione e la scheda sono nascoste a chi usa Claude, e il post non parla di un interruttore per gli utenti. L’unica esclusione citata è il traffico coperto da accordi di conservazione zero.

Quanto tempo vengono conservate le chat segnalate?

Secondo il Privacy Center di Anthropic, se una chat viene segnalata dai sistemi automatici come violazione delle regole d’uso, domande e risposte si possono conservare fino a due anni e i punteggi di classificazione fino a sette. Le pagine non chiariscono se una singola scheda segnalata rientri da sola in questo caso.

Anche ChatGPT fa qualcosa di simile?

Lo stesso giorno OpenAI ha descritto un sistema diverso, pensato soprattutto per sorvegliare il comportamento dei suoi modelli e dei suoi agenti. Sull’uso esterno, per i modelli sopra il livello «Critical» di cybersicurezza, può mettere in pausa una conversazione con strumenti e mostrare all’utente cosa è successo, e di regola non passa i casi a revisori umani di OpenAI.

Fonti

• Anthropic, «Scaling Misuse Detection with Self-Assessment», blog Safeguards, annunciato il 29 ottobre 2026: safeguards.anthropic.com
• Anthropic su X, 29 ottobre 2026: x.com/AnthropicAI
• Anthropic Privacy Center, «How long do you store my data?»: privacy.claude.com
• Anthropic Privacy Center, «How long do you store my organization’s data?»: privacy.claude.com
• OpenAI, «How we detect frontier model misalignment», 29 ottobre 2026: openai.com
• Crypto Briefing, «Anthropic trains Claude to review its own conversations for misuse», 29 ottobre 2026: cryptobriefing.com
• Unite.AI, «OpenAI Expands Monitoring to Detect Frontier Model Misalignment», 29 ottobre 2026: unite.ai