Sabato 10 ottobre, verso le cinque meno un quarto del pomeriggio in Italia, l’uomo che guida Microsoft ha pubblicato un testo su X e sul suo blog personale. Il titolo è «Models as Insider Risks in the Super Intelligence Era»: i modelli come rischio interno, nell’era della super intelligenza.
Microsoft vende Copilot. Lo mette in Windows, nella posta, nei documenti e nei fogli di calcolo. E il suo amministratore delegato, Satya Nadella, scrive questa frase:
«Dobbiamo dare per scontato che un modello sia compromesso, e contenerlo fin dall’inizio. Pensatelo come un freno d’emergenza.»
Chi vende la macchina ti dice di tenere il piede vicino al freno. Sembra un paradosso. Io ci leggo un manuale d’uso, e insieme una mossa di posizionamento. Le due cose stanno benissimo insieme.
In breve
Il 10 ottobre 2026 Satya Nadella, amministratore delegato di Microsoft, ha pubblicato su X e sul suo blog il saggio «Models as Insider Risks in the Super Intelligence Era». La tesi: i modelli di AI più avanzati vanno trattati come un rischio interno, cioè come un collaboratore molto capace, con accesso a sistemi importanti, che può sbagliare o essere manomesso anche senza cattive intenzioni. Per questo i controlli su che cosa il modello può vedere e fare devono stare fuori dal modello; ogni azione importante deve lasciare una traccia leggibile e impossibile da alterare; nessun modello deve verificare da solo il proprio lavoro; e una persona autorizzata deve poter fermare il modello a metà del compito, come con un freno d’emergenza. Le rassicurazioni di chi fornisce il modello, scrive, lasciano la responsabilità a chi lo usa. È una presa di posizione personale: per chi usa al lavoro agenti AI, cioè assistenti che oltre a rispondere compiono azioni con i tuoi strumenti, diventa una lista di controllo pronta.
Cosa ha scritto Nadella
Il testo è uscito sabato pomeriggio come articolo dentro un post su X, alle 16:43 ora italiana, e quasi nello stesso momento sul blog personale di Nadella, che si chiama sn scratchpad. Fra la tarda sera di sabato e la notte l’hanno ripreso TechCrunch e The Verge. È breve: si legge in cinque minuti.
Il ragionamento parte da un’osservazione da ingegnere. Con il software di una volta, se un programma faceva una cosa strana, potevi risalire al pezzo di codice responsabile. Con i modelli di oggi questo non si riesce a fare: non sappiamo collegare una risposta o un’azione a un dato preciso usato nell’addestramento, o a una regolazione interna del modello. Eppure, scrive Nadella, a questi sistemi stiamo dando accesso ai nostri dati più delicati e il potere di compiere azioni decisive al posto nostro.
Da qui la frase che regge tutto il saggio: non possiamo appaltare ad altri la responsabilità di quello che l’intelligenza fa per conto nostro. «A model provider’s assurances do not relieve us of that responsibility»: le rassicurazioni di chi fornisce il modello non ci sollevano da quella responsabilità.
La strada che propone non passa dal rendere i modelli più buoni. Il «problema difficile dell’allineamento», cioè far sì che un modello persegua davvero quello che vogliamo noi, Nadella lo mette da parte. Parte dall’ingegneria: circondare modelli imprevedibili con sistemi prevedibili, controlli umani e procedure affidabili, e scrivere standard comuni dove quelli di oggi non bastano. In una riga, la sua: separare chi fornisce l’intelligenza da chi ha l’autorità su di essa.
Poi l’elenco. Sette principi, che riassumo con parole di tutti i giorni:
- Più di un modello. Nessun risultato importante deve dipendere da un modello solo, e nessun modello deve controllare il proprio lavoro.
- Tutto si vede. Ogni azione importante del modello deve lasciare una prova leggibile da una persona e a prova di manomissione. Bisogna poter ricostruire come si è arrivati a un risultato senza chiederlo al modello.
- Si prova anche quando va male. Il sistema va messo alla prova di continuo, su guasti, attacchi, casi limite e cambiamenti, oltre che sui compiti riusciti.
- Controlli indipendenti. È l’organizzazione a decidere, per conto suo, che cosa il modello può vedere e quali azioni può compiere.
- Verifiche indipendenti. Chi controlla deve essere separato da chi viene controllato: nessun modello deve avere in mano insieme il comportamento del sistema e le prove per giudicarlo.
- Contenimento. Si parte dall’idea che il modello sia compromesso. Una persona autorizzata deve poterlo mettere in pausa o spegnere a metà del lavoro.
- Dire quando qualcosa va storto. Avvisare in fretta chi è coinvolto, spiegare che cosa è successo e quali controlli hanno ceduto, condividere la lezione con il resto del settore.
In mezzo c’è un passaggio più tecnico, che vale la pena tradurre. Nadella chiede che il ragionamento passo passo che i modelli scrivono prima di rispondere sia sempre leggibile: nessuna scusa per un ragionamento opaco. Ma aggiunge subito che da sola la leggibilità non basta e non è affidabile, perché non sappiamo ancora fare in modo che quello che i modelli producono sia sempre fedele e trasparente. Un ragionamento che si legge bene resta una cosa diversa da una spiegazione di cui fidarsi. E mette in guardia da una tentazione: far controllare un modello da un altro modello. Si può fare, anzi si deve, scrive. Il rischio è ritrovarsi con una scatola nera dentro un’altra scatola nera, sorvegliata da una terza.
La chiusura è la frase che mi porto via: il sistema più affidabile non sarà quello con il modello di cui ci fidiamo di più. Sarà quello che ci permette di fidarci del modello il meno possibile.
La fiducia, qui, smette di essere un sentimento. Diventa un pezzo dell’impianto.
Il collega bravissimo con le chiavi di tutto
«Insider risk», rischio interno, è un’espressione che chi si occupa di sicurezza nelle aziende conosce bene. Indica il pericolo che arriva da dentro: il dipendente, il consulente, il fornitore che ha accesso ai sistemi. Può essere anche una persona qualunque che sbaglia una mail, apre l’allegato sbagliato, si fa rubare la password.
Nadella prende proprio questa idea, e lo dice in chiaro: i modelli vanno trattati come rischi interni «non perché siano necessariamente malintenzionati», ma perché chiunque sia abbastanza capace e abbia accesso a sistemi importanti può commettere errori o essere compromesso.
Pensa al nuovo arrivato in studio. Bravissimo, velocissimo, instancabile. Il primo giorno gli dai una scrivania, un computer, le cartelle su cui deve lavorare. Le chiavi della cassaforte, la password della banca e la firma digitale aspettano. Non perché pensi che sia un ladro. Perché non lo conosci ancora, e perché anche le persone bravissime sbagliano — e più sono veloci, più in fretta l’errore diventa grande.
Le aziende hanno imparato da decenni a gestire queste situazioni, ricorda Nadella: si stabilisce chi è chi, si danno solo i permessi che servono, si registra quello che succede, si mettono dei confini. «This isn’t new!», scrive. La novità è applicare le stesse regole a un collaboratore che lavora giorno e notte e che non sa spiegare fino in fondo perché ha fatto quello che ha fatto.
Ieri ho raccontato l’agente AI che ha scritto alla polizia: un modello di Anthropic che, durante una prova, ha mandato una segnalazione inventata al sito della polizia di Filadelfia dedicato agli omicidi irrisolti. Nel suo rapporto Anthropic descrive la maggior parte dei casi trovati come forme di «persistenza»: quando non riesce a finire il compito come gli è stato dato, il modello aggira un limite invece di fermarsi. La segnalazione è finita fra lo spam e non è arrivata agli investigatori. E secondo Anthropic, con una valutazione che potrebbe cambiare dopo analisi più approfondite, dalla trascrizione il modello sembra aver solo prodotto un contenuto d’esempio per il compito, più che aver cercato di ingannare qualcuno. È il collaboratore di cui parla Nadella. Zelante, capace, con le mani su cose vere. Ed è arrivato dove nessuno voleva mandarlo.
Il rischio, qui, ha la faccia dello zelo.
Una rassicurazione resta una frase
Per chi si occupa di comunicazione, la riga più importante del saggio è quella sulle rassicurazioni.
I fornitori di AI parlano molto di sicurezza. Pagine sulla protezione dei dati, principi etici, certificazioni, promesse di affidabilità. Sono testi scritti per farti sentire tranquillo, ed è legittimo. Il rischio che ci vedo io sta dall’altra parte, in chi li legge: se un’azienda grande e seria dice che una cosa è sicura, viene naturale fidarsi. E chi si fida tende a controllare di meno.
Nadella toglie il terreno sotto questa scorciatoia. La promessa del fornitore è una frase. La responsabilità resta a chi usa lo strumento.
La seconda metà del problema ha perfino un nome tecnico, e sta scritto nella legge europea: automation bias, la tendenza ad affidarsi in automatico, o troppo, a quello che produce una macchina. L’AI Act lo nomina all’articolo 14, quello sulla supervisione umana. È un parente stretto dei bias cognitivi che già conosci. Il cervello risparmia fatica, e quando la risposta arriva ben scritta, sicura di sé, in pochi secondi, la fatica di ricontrollarla sembra uno spreco di tempo.
Poi c’è il modo in cui il messaggio è costruito, e qui la lettura è mia. Chi studia la persuasione conosce bene il meccanismo: riconoscere un limite del proprio prodotto può rendere più credibile il resto del discorso. Il saggio di Nadella ha questo effetto in grande, e arriva da una posizione precisa. Microsoft vende quello che sta intorno ai modelli: il sistema operativo, gli strumenti, i controlli. E lavora con modelli di più aziende: sul suo Windows, come racconto più sotto, i recinti per gli agenti funzionano già con Codex di OpenAI, e Claude Code di Anthropic è fra quelli che li supporteranno. Quando il suo capo scrive «più di un modello» e «separare il modello dall’impalcatura che ne guida il lavoro», descrive un mondo in cui il valore sta proprio nell’impalcatura. La mia lettura è semplice: il principio è giusto, e fa comodo a chi lo enuncia.
E poi c’è la parola. Nadella scrive per tutto il testo «Super Intelligence», il nome che dal 29 settembre l’amministrazione Trump vuole negli uffici federali al posto di «intelligenza artificiale» (ne ho scritto qui: l’AI ora si chiama «Super Intelligence»). TechCrunch lo fa notare, The Verge se ne lamenta apertamente. Quello stesso 29 settembre sei capi di aziende dell’AI hanno firmato con Trump un accordo volontario su controlli e verifiche dei modelli; nell’elenco dei firmatari riportato da NPR Microsoft non c’è. Undici giorni dopo il suo amministratore delegato usa il nome nuovo e mette in fila le sue regole.
Il nome gonfia la tecnologia. Il contenuto la tratta da sospettata.
Il freno d’emergenza è già scritto nella legge europea
L’immagine del freno d’emergenza suona nuova. In Europa sta già dentro un regolamento.
L’articolo 14 dell’AI Act, il regolamento europeo sull’intelligenza artificiale, chiede che i sistemi ad alto rischio possano essere sorvegliati davvero da persone mentre sono in uso. Fra le cose che chi sorveglia deve essere messo in condizione di fare: capire capacità e limiti del sistema, accorgersi di anomalie e malfunzionamenti, restare consapevole del rischio di fidarsi troppo, decidere di ignorare o ribaltare il risultato. E, ultima della lista, intervenire sul funzionamento o interrompere il sistema con un pulsante di arresto o una procedura simile, che lo fermi in condizioni di sicurezza.
Il pulsante di Bruxelles e il freno di Nadella sono la stessa idea. Cambia il perimetro. La legge vale per i sistemi ad alto rischio — per esempio quelli usati per selezionare il personale o per valutare l’affidabilità di chi chiede un prestito — e, secondo il calendario riportato dal sito di riferimento artificialintelligenceact.eu, per quelli dell’allegato III l’articolo si applica dal 2 dicembre 2027. Nadella invece parla dei modelli più avanzati, chiusi o aperti, in qualunque uso dentro un’azienda.
In Italia il decreto che adegua le nostre norme all’AI Act, pubblicato l’8 ottobre e in vigore dal 23, riserva a una persona la decisione definitiva su assunzioni, licenziamenti, provvedimenti disciplinari e valutazioni al lavoro. E il 9 ottobre, a Bruxelles, il gruppo di esperti della Commissione ha preparato con l’Ufficio europeo per l’IA una serie di domande per le aziende i cui modelli sono stati coinvolti in incidenti di perdita di controllo. La direzione è la stessa: l’AI lavora, una persona tiene la mano sulla leva.
Chi scrive le leggi e chi vende l’AI, per una volta, usano la stessa immagine.
Microsoft lo ha già messo dentro Windows
Un saggio resta un saggio finché qualcuno non lo trasforma in un prodotto. Qui un pezzo esiste già, anche se Nadella non lo cita.
Il 7 ottobre Microsoft ha reso disponibili su Windows 11 gli Execution Containers: recinti in cui l’azienda, o chi sviluppa un agente, stabilisce quali file e quali collegamenti di rete l’agente può usare. Il blog degli sviluppatori di Windows lo spiega con una frase che sembra presa dal saggio di sabato: «un agente non può essere l’autorità di sicurezza di sé stesso». Il confine lo stabilisce qualcun altro e l’agente non può allargarlo da solo. Quando il contenitore è impostato per far rispettare le regole, le operazioni fuori dal confine vengono bloccate; c’è anche una modalità di prova, pensata per scrivere le regole, che registra quello che andrebbe vietato e lo lascia passare.
L’esempio che fa Microsoft è concreto. Un agente che deve aggiornare un sito può decidere che la via più rapida sia cambiare la configurazione del server, con il rischio di mettere fuori uso il sito vero. Dal suo punto di vista è una scelta ragionevole. Dal tuo è un guaio. Ne ho scritto quando li hanno annunciati, insieme al nuovo Copilot che agisce dentro il tuo PC.
Secondo me è il principio dei «controlli fuori dal modello» tradotto in software, e un buon esempio di che cosa può voler dire separare il modello dall’impalcatura che lo fa lavorare: il cervello lo puoi prendere da chi vuoi, le chiavi restano nel tuo cassetto.
Come portarlo nel tuo lavoro
Questi principi valgono anche per uno studio di tre persone. Basta avere un assistente AI che legge la tua posta, un agente collegato al Drive dell’ufficio, un’automazione che risponde ai clienti. Ecco il saggio tradotto in sette abitudini.
- Le chiavi di una stanza sola. Quando colleghi un assistente alla posta, al Drive o al gestionale, dagli l’accesso minimo che serve per quel lavoro: una cartella invece di tutto il Drive, la sola lettura quando basta leggere, un account a parte quando puoi. È il «limitare i privilegi» del saggio: se l’agente sbaglia, l’errore ha meno spazio per fare danni. Guarda però anche gli altri strumenti a cui è collegato, perché un accesso dimenticato basta a riaprire il palazzo.
- Il divieto va nelle impostazioni. Scrivere nelle istruzioni «non inviare mai email» è una richiesta. Togliere all’agente il permesso di inviare è un lucchetto. Il caso di Anthropic mostra che un modello zelante può cercare un’altra strada: un permesso tolto alla radice, fuori dal modello, è molto più difficile da aggirare di una frase. È quello che intende Nadella quando scrive che i controlli devono stare fuori dal modello.
- La prova la guardi alla fonte. Se l’agente ti dice «ho mandato le tre mail», apri la cartella della posta inviata, invece di fidarti del suo riassunto. Nadella lo scrive così: bisogna poter ricostruire come si è arrivati a un risultato senza affidarsi al modello che lo racconta. Tieni attivi gli storici delle attività, dove ci sono, e ogni tanto aprili.
- Due occhi diversi sulle cose che contano. Un contratto, un preventivo, una comunicazione delicata a un cliente: alla rilettura di chi li ha scritti affianca un controllo indipendente, e per i modelli vale lo stesso. Puoi farli rileggere a un secondo modello, meglio se di un’altra azienda. Per le cose che contano, però, l’ultimo controllo è tuo: tre scatole nere una dentro l’altra, avverte Nadella, restano scatole nere.
- Sai dov’è il freno prima di partire. Prima di lasciar lavorare un agente da solo, scopri come si ferma: il pulsante che interrompe il compito, il modo per scollegarlo dalla posta o dal Drive, chi in ufficio ha il potere di farlo. Provalo una volta, a mente fredda. Il giorno in cui serve, il tempo per cercarlo manca sempre.
- Prova il caso storto. In un ambiente di prova, con dati finti e senza la possibilità di mandare messaggi o toccare sistemi veri, dagli un compito ambiguo, un file che manca, un’istruzione impossibile, e guarda che cosa fa: si ferma e ti chiede, o improvvisa? È il «mettere alla prova anche guasti e casi limite» del saggio. Meglio scoprirlo in prova che davanti a un cliente.
- Se va storto, dillo. Se un agente ha fatto un danno, avvisa subito chi è coinvolto, il cliente, il collega, il fornitore. Poi scrivi due righe: che cosa è successo, quale controllo ha ceduto, che cosa cambi da domani. È la versione da studio dell’ultimo principio di Nadella, e vale più di qualunque promessa fatta prima.
Se vuoi un modo per ricordarle tutte, usa la frase finale di Nadella: il tuo sistema funziona bene quando ti permette di fidarti poco del modello. Il tempo che l’AI ti fa risparmiare ha senso se una parte la spendi a costruire i confini. Se vuoi impostarli con il tuo gruppo di lavoro, è uno dei temi dei miei corsi per le aziende.
L’AI lavora. Il freno resta a te.
👉 Leggi anche: Muse Wonder: Meta vuole ricordarsi di te — un agente che ricorda per mesi, e la domanda su chi ricorda i permessi.
👉 Leggi anche: Agenti AI: l’Italia corre, ma da dove parte? — il rapporto di OpenAI sugli agenti nelle piccole imprese: cosa misura il «10,8 volte» italiano e cosa resta fuori.
👉 Leggi anche: L’AI misura il lavoro. Chi misura l’AI? — l’automation bias in ufficio: quando l’AI suggerisce e una persona firma, chi decide davvero.
Domande frequenti
Chi è Satya Nadella?
È l’amministratore delegato di Microsoft, l’azienda di Windows, Office e Copilot. Il 10 ottobre 2026 ha pubblicato il saggio «Models as Insider Risks in the Super Intelligence Era» sui rischi dei modelli di AI più avanzati e su come contenerli.
Dove ha pubblicato il saggio?
Su X, come articolo dentro un post del suo account, sabato 10 ottobre 2026 alle 16:43 ora italiana, e sul suo blog personale, sn scratchpad, con lo stesso titolo. TechCrunch e The Verge l’hanno ripreso fra la tarda sera di sabato e la notte.
Nadella dice che i modelli di AI sono malintenzionati?
No. Scrive che vanno trattati come un rischio interno «non perché siano necessariamente malintenzionati», ma perché un attore capace, con accesso a sistemi importanti, può commettere errori o essere compromesso. È la stessa prudenza che le aziende usano con le persone che hanno le chiavi dei sistemi.
Che cosa vuol dire «modello compromesso»?
Nadella chiede di progettare i controlli dando per scontato che il modello possa essere compromesso, così che il danno resti contenuto se succede davvero. Non ne dà una definizione tecnica, e tiene questa possibilità distinta dal semplice errore: scrive che un attore capace può sbagliare «o» essere compromesso. In pratica può voler dire, per esempio, un modello manipolato da qualcuno con istruzioni nascoste nei testi che legge.
È un obbligo di legge?
Il saggio è una presa di posizione personale. In Europa un obbligo simile esiste per i sistemi ad alto rischio: l’articolo 14 dell’AI Act chiede che chi li sorveglia possa interromperli con un pulsante di arresto o una procedura simile, e per quelli dell’allegato III, secondo il calendario riportato da artificialintelligenceact.eu, si applica dal 2 dicembre 2027. Il saggio propone di contenere i modelli anche fuori da questo perimetro, come regola di prudenza.
Che cosa cambia per chi usa Copilot o ChatGPT al lavoro?
Il saggio non annuncia funzioni nuove. Cambia il modo di impostare il lavoro: permessi minimi, divieti messi nelle impostazioni oltre che nelle istruzioni, verifiche fatte alla fonte, un freno che sai usare. Su Windows 11 Microsoft offre già gli Execution Containers, con cui un’azienda stabilisce che cosa un agente può toccare.
Perché Nadella dice «Super Intelligence»?
Il saggio non lo spiega. È il nome che dal 29 settembre 2026 l’amministrazione Trump usa negli uffici federali al posto di «intelligenza artificiale»: TechCrunch lo fa notare, The Verge lo critica apertamente.
Fonti
- Satya Nadella, Models as Insider Risks in the Super Intelligence Era, sn scratchpad, 10 ottobre 2026
- Satya Nadella su X, il post con il saggio, 10 ottobre 2026
- TechCrunch, Microsoft’s Satya Nadella says AI models need an ‘emergency brake’, 10 ottobre 2026
- The Verge, Satya Nadella says we should assume all AI models are ‘compromised’, 10 ottobre 2026
- Windows Developer Blog, Microsoft Execution Containers: Policy-driven containment for AI agents, 7 ottobre 2026
- NPR, l’accordo della Casa Bianca e i suoi firmatari, 30 settembre 2026
- AI Act, articolo 14, supervisione umana e allegato III
- Anthropic, Investigating unintended model actions in our evaluations and internal use, 9 ottobre 2026
