Vai al contenuto
Luca Masrè Passaro
Laboratorio AI

luca@masrepassaro.com WhatsApp

home / blog

Anthropic: indicatori sotto 2? METR calcola 1,97

Anthropic: sui compiti ben definiti METR stima un ritmo circa doppio, con alta incertezza e molte prove coperte. E su una frase pubblica fa un conto che pesa.

LMP Luca Masrè Passaro
·
06.11.2026
Un ispettore con una lanterna davanti a un enorme meccanismo di ingranaggi d'ottone in corsa, in gran parte nascosto da teli legati con le corde

In breve

Giovedì 5 novembre 2026 METR, organizzazione non profit di Berkeley che valuta i rischi dell’AI, ha pubblicato due testi su Anthropic, l’azienda di Claude, dopo undici settimane sui suoi dati interni. La stima: a ottobre 2026 Anthropic migliora i modelli, sui compiti ben definiti, a circa il doppio del ritmo precedente, con molta incertezza: METR scrive che non si stupirebbe di un valore più vicino a 1,3 o a 3. La maggior parte dell’accelerazione, forse l’80%, METR la attribuisce all’uso dell’AI. Anthropic ha coperto la maggior parte delle prove che METR giudica più informative. E sugli indicatori anticipatori il rapporto pubblico di agosto parla di un’accelerazione inferiore al doppio: METR, combinando dati del rapporto privato, calcola 1,97, una cifra che non compare in nessuna delle due versioni, e sostiene che quella formula suggerisca al lettore un valore sensibilmente più basso.

Uno virgola novantasette.

Segnati questo numero. Nei rapporti di Anthropic non compare: lo ha calcolato un revisore esterno. Su quel dato il testo pubblico usa tre parole: meno del doppio.

Il documento è il Risk Report di agosto 2026, il rapporto con cui Anthropic racconta i rischi dei propri modelli. A un certo punto scrive che i suoi indicatori anticipatori, le misure che dovrebbero segnalare in anticipo dove sta andando il progresso, mostrano un’accelerazione «by less than a factor of 2»: inferiore al doppio.

Giovedì 5 novembre METR, che ha letto anche la versione privata di quel rapporto, ha pubblicato il suo conto: combinando due stime di quella versione, rimaste coperte, ottiene 1,97. E precisa che la cifra è sua, nel testo privato non c’è.

La frase, quindi, regge: 1,97 è meno di 2.

Eppure METR scrive che un lettore capirebbe una stima «meaningfully below 2», sensibilmente più bassa, e che una descrizione migliore sarebbe «around 2»: intorno a due. La distanza fra le due versioni sta tutta in quello che ti resta in testa.

Per chi si occupa di comunicazione, come me, la notizia sta anche qui. I numeri sulla velocità, però, pesano, e parto da quelli. Una premessa, visto che si parla di chi controlla chi: Claude lo uso anch’io, è uno dei due agenti a cui ho dato un portafoglio.

Cosa ha misurato METR dentro Anthropic

METR sta per Model Evaluation and Threat Research. È una non profit di Berkeley che da anni valuta i modelli di Anthropic, OpenAI e altri laboratori: ne avevo già scritto quando è entrata a controllare il monitor degli agenti di OpenAI. Dal 12 agosto al 29 ottobre l’equivalente di due persone e mezzo a tempo pieno ha lavorato su materiale interno di Anthropic: punteggi di modelli mai usciti, numeri sulla potenza di calcolo, sondaggi fra i dipendenti, una quindicina di interviste. METR parla di un accesso ai dati interni «unprecedented», senza precedenti.

Il risultato principale sta in un punteggio, AECI, la versione di Anthropic di un indice che riassume in una cifra sola molti test standard, i benchmark. Da ottobre 2025 quel punteggio cresce a 1,9 volte il ritmo di prima. Tradotto da METR: nell’ultimo anno Anthropic sembra aver fatto sui test il progresso fatto fra ottobre 2023 e ottobre 2025. Due anni in uno.

La causa è la parte che pesa. METR si dice sicura di una cosa: la spinta arriva da altrove rispetto a un’accelerazione nella crescita della potenza di calcolo usata per addestrare i modelli. La sua stima, data con incertezza sostanziale, è che la maggior parte dell’accelerazione attuale, forse l’80%, dipenda dall’AI stessa. Il rapporto di agosto aggiunge un dettaglio: Claude firma ormai «a large majority», la grande maggioranza del codice che entra nei sistemi di produzione di Anthropic. La stessa azienda aveva già raccontato come sono cambiate le ore di lavoro al suo interno.

Attenzione al verbo, però. A METR hanno riferito che la ricerca accelera soprattutto grazie all’assistenza dell’AI, più che con contributi del tutto autonomi. METR scrive di aver capito che l’AI «is not yet able», ancora non riesce, a dare contributi davvero rilevanti e pienamente autonomi nelle parti più importanti dell’addestramento. I ricercatori descrivono però «signs of life», segni di vita, che fanno pensare a un arrivo vicino.

Per ora, secondo quanto riferito a METR, dentro Anthropic l’AI fa soprattutto da assistente a chi costruisce la prossima AI. Il punto è quanto durerà quel «per ora».

La forchetta pesa più del numero

«Il doppio» sta bene in un titolo. Il rapporto, letto per intero, dice una cosa più scomoda: probabilmente circa il doppio, con «high uncertainty», alta incertezza, e METR non si stupirebbe di un valore più vicino a 1,3 o a 3.

Quel 1,9 ha un intervallo di confidenza al 95%, la fascia di valori compatibili con i dati, che va da 1,5 a 2,8. Cambiando alcune scelte di calcolo, le verifiche di METR danno valori fra 1,1 e 2,9. E se nel grafico metti tutti i modelli di punta, anche quelli delle altre aziende, la stima scende a 1,4. METR spiega che quel 1,4 si può leggere in due modi opposti: o Anthropic era sotto i migliori nel 2025, e allora l’1,9 gonfia il balzo; oppure i modelli concorrenti erano più tarati sui test, e allora l’1,9 è più vicino al vero.

Anche gli errori possibili stanno scritti in chiaro. METR potrebbe sbagliare per difetto, perché la crescita potrebbe stare accelerando ancora, e l’indizio che rende questa ipotesi più plausibile Anthropic lo ha coperto. Potrebbe sbagliare per eccesso, perché fattori estranei all’AI potrebbero spiegare tutto o quasi il balzo.

Un numero solo suona come una certezza. Per capire quanto fidarti, chiedi come è stata stimata l’incertezza.

Tre frasi rilette dal revisore

Il secondo testo di METR è una revisione della parte del Risk Report sui rischi dell’automazione della ricerca, chiesta dalla stessa Anthropic. Mette una accanto all’altra la versione pubblica e quella privata su tre affermazioni.

La prima è il «meno del doppio» da cui sei partito. METR propone di riscriverla con una fascia: accelerazioni fra 1,3 e 2,8, a seconda della definizione e del periodo.

La seconda riguarda il peso dell’AI. La versione pubblica dice che la ricerca interna è sensibilmente più veloce grazie all’AI, «but not yet by a factor of 2», ma ancora sotto il doppio, e aggiunge fra parentesi che l’incertezza c’è e misurare è difficile. La versione privata definisce plausibile il superamento di quel fattore. METR riconosce l’incertezza dichiarata, poi osserva che il testo pubblico sembra comunque suggerire una fiducia abbastanza alta sul fatto che all’AI vada solo una parte minore dell’accelerazione.

La terza è una precisazione rimasta in privato. In pubblico un modello interno, Model 2, compare con un punteggio circa 1,5 punti sopra il precedente e «large error bars», ampi margini di errore. In privato Anthropic aggiungeva di aspettarsi risultati migliori dalle versioni successive. In pubblico quella riga manca, e le versioni successive, scrive METR, sono migliorate davvero.

Il giudizio d’insieme è misurato e pesa lo stesso. Per METR la conclusione pubblica sulla soglia del doppio, il campanello d’allarme che Anthropic si è data, sembra «overconfident», troppo sicura, e il rapporto nel complesso «understates», sottostima, l’accelerazione in corso.

Due cose vanno dette per correttezza. METR concorda con Anthropic sul punto più grave: i rischi catastrofici diretti legati all’automazione della ricerca erano bassi per i modelli disponibili al 15 luglio. E la maggior parte dei ricercatori coinvolti, da una parte e dall’altra, propende per l’idea che a quella data la soglia del doppio restasse intatta, anche se METR giudica plausibile il contrario.

Un revisore chiamato a valutare i numeri ha finito per proporre frasi nuove. La mia lettura: è nelle formule che un documento orienta quello che ti resta in testa, qualunque fosse l’intenzione di chi le ha scritte.

Lo stesso effetto, nei tuoi report

Prima di sorridere, prova a leggerla con i tuoi numeri.

Un progetto sfora il budget del 19,7% e nel resoconto al cliente diventa «meno del 20%». Una campagna porta 61 contatti sui 100 promessi e diventa «oltre la metà». Gli esempi sono miei e parlano dell’effetto sul lettore: sulle intenzioni di Anthropic METR resta muta. Scegli la soglia che suona meglio, la cifra resta a casa, e chi legge si fa un’idea tutta sua. Capita a chiunque scriva un report con qualcuno che aspetta dall’altra parte.

Il meccanismo si chiama framing, la cornice: lo stesso dato cambia effetto a seconda di come lo presenti. La parola «meno» arriva prima del numero, e se il numero manca resta da sola a orientare chi legge. Ha una parentela con l’effetto ancoraggio, dove il primo riferimento che incontri condiziona tutto quello che valuti dopo.

Se una formula così passa in un documento scritto per raccontare i rischi, pensa a cosa può passare nella presentazione di un fornitore che vuole venderti qualcosa.

Dodici volte, con una reazione su Slack

Nel rapporto c’è un altro numero, e sembra fatto apposta per i titoli. In una serie di sondaggi interni su Slack, i dipendenti di Anthropic votano con una reazione quanto li velocizza il modello più recente. Per il modello interno più capace, a ottobre 2026, la media dichiarata è arrivata a circa 12 volte.

METR lo mette subito al suo posto: «only very loose evidence», una prova molto debole. Si aspetta che risponda un gruppo poco rappresentativo, con poca riflessione, e ricorda che esistono indizi di una sopravvalutazione in questo genere di sondaggi. Aggiunge che la velocità dichiarata dal singolo e l’accelerazione complessiva sono due misure diverse.

Quindi il 12 e il 2 stanno su due scale separate, e metterli in fila sarebbe un errore. La lezione è un’altra: quanto ti senti veloce e quanto si muove il risultato finale sono due domande.

Se in ufficio qualcuno ti dice che con l’AI va dieci volte più veloce, chiedi cosa è uscito dalla porta, in più, questo mese.

Le prove coperte e i computer di Anthropic

Anthropic poteva togliere dal testo pubblico qualsiasi informazione riservata, e lo ha fatto. METR scrive che è stata coperta la maggior parte delle prove che ha trovato più informative, e ammette la conseguenza: il pubblico deve affidarsi al suo giudizio «much more than would be ideal», molto più di quanto sarebbe ideale.

Anthropic descrive le coperture come un modo per togliere informazioni riservate che potrebbero accelerare gli altri sviluppatori. METR conferma che riguardavano informazioni di quel tipo, nota che in gran parte erano di livello molto generale e dichiara di non giudicare se fossero giustificate nel complesso. Sam McCandlish, cofondatore e «responsible scaling officer», il responsabile del regolamento interno sui rischi, ha risposto su X, come riporta l’Associated Press: riconosce che le coperture rendono più difficile controllare il lavoro di METR, e sostiene che spiegare esattamente cosa guida l’accelerazione sarebbe commercialmente delicato e rischierebbe di consegnare agli altri una mappa per correre di più.

Poi ci sono le condizioni del controllo, e METR le pubblica. Ha lavorato su dispositivi di Anthropic. Ha ricevuto token in regalo, le unità con cui si paga l’uso dell’AI, usati soprattutto per analizzare i dati. Per classificare le citazioni delle interviste ha usato Claude. Anthropic poteva accettare o respingere ogni richiesta di dati, e qualcuna, poche, l’ha respinta. Pagamenti da Anthropic, scrive METR, zero.

E c’è un pezzo saltato. Il contratto prevedeva anche una verifica di come Anthropic divide la potenza di calcolo fra le capacità dei modelli e la sicurezza. A metà lavoro Anthropic ha tolto quella parte, prima che METR arrivasse a conclusioni, dicendo di voler restare concentrata sulla valutazione del rischio per il momento e che tornerà sulla verifica più avanti.

La stessa METR, d’altra parte, scrive che l’accesso ha superato le sue attese. E Anthropic ha approvato la pubblicazione di una revisione che critica il suo rapporto. Conta perché, ricorda l’Associated Press, finora i dettagli su queste tecnologie e sui loro rischi sono arrivati soprattutto dalle aziende stesse.

Un revisore utile ti dice cosa ha visto. Uno serio ti dice anche cosa gli hanno tolto dal tavolo.

Compiti puliti, compiti disordinati

Per chi lavora, la frase più utile del rapporto sta fra i limiti. METR avverte che l’accelerazione «might be limited to well-specified tasks»: potrebbe riguardare solo i compiti ben definiti, quelli facili da correggere in automatico o con un altro modello. Se i modelli crescono più in fretta sui compiti «clean», puliti, che su quelli «messy», disordinati, allora l’impatto nel mondo reale potrebbe essere sovrastimato.

È un’ipotesi, e METR la presenta come tale. La stima centrale, però, è dichiarata proprio per i compiti ben definiti, e su quelli più ampi e meno definiti METR ammette un’incertezza in più.

Ecco la mia lettura. Il tuo lavoro contiene tutti e due. Controllare che una fattura corrisponda all’ordine è pulito: si vede subito se il risultato è giusto. Capire perché un cliente storico si è raffreddato è disordinato: la risposta giusta la conosci, se va bene, sei mesi dopo. E la linea fra i due si sposta. Un compito diventa più pulito nel momento in cui scrivi cosa vuoi e come riconosci il risultato.

Il vantaggio, se questa lettura regge, va a chi sa scrivere cosa vuole e come si controlla.

Il freno, l’acceleratore e la Borsa

Il rapporto arriva in un momento preciso. Secondo l’Associated Press, il 12 settembre, mentre METR era al lavoro, l’amministratore delegato di Anthropic, Dario Amodei, ha chiesto in un saggio di «slow the pace at which we improve the capabilities of AI models»: rallentare il ritmo con cui migliorano le capacità dei modelli. E sempre secondo l’agenzia l’azienda punta alla Borsa entro questo mese, in quella che potrebbe essere la più grande offerta pubblica di azioni di sempre. Il prospetto aggiornato il 2 novembre, di cui ho scritto in questo articolo, dice che Anthropic potrebbe raggiungere a breve la propria soglia di progresso accelerato dall’AI.

METR, intanto, scrive di non aver visto colli di bottiglia significativi per i prossimi dodici mesi su algoritmi, potenza di calcolo e dati, ma ammette di aver cambiato lettura più volte su questo punto e di essere poco sicura della valutazione attuale. E nella revisione aggiunge di non poter escludere un’ulteriore forte accelerazione nei prossimi sei mesi, capace di portare rapidamente i rischi a «high», alti.

Quello stesso prospetto ammette che in passato un’accelerazione Anthropic l’ha riconosciuta solo dopo. Il 5 novembre un esterno ha messo una stima accanto a quella frase. Con una forchetta larga e molte prove coperte, ma adesso c’è.

Come portarlo nel tuo lavoro

  1. Chiedi il numero dietro la parola. «Meno di», «quasi», «fino a», «oltre»: quando un fornitore o un collega usa una di queste formule, chiedi la cifra. Spesso basta una domanda.
  2. Chiedi quanto è incerta la stima. Davanti a «risparmi il 40%», domanda su quali casi è stato misurato e quanto può variare il risultato. METR indica circa 2 e precisa che non si stupirebbe di un valore più vicino a 1,3 o a 3.
  3. Chiedi chi ha controllato e cosa ha potuto vedere. Per un servizio che tratta i dati dei tuoi clienti usa la griglia di questo rapporto: chi ha fatto la verifica, con quale rapporto economico, su quali dati, e cosa è rimasto fuori.
  4. Scrivi il numero nei tuoi report. Se hai 1,97, scrivi 1,97 oppure «circa 2». La parola puoi aggiungerla dopo, la cifra le dà un peso che il lettore può controllare.
  5. Riscrivi un compito prima di darlo all’AI. Prendine uno che oggi le affidi a sensazione e metti per iscritto il risultato atteso e come lo verifichi. Se ci riesci, hai un buon banco di prova. Se resti bloccato, hai trovato una parte del lavoro che chiede ancora il tuo giudizio.
  6. Metti in agenda una prova ripetuta. Le stime di METR riguardano lo sviluppo interno di Anthropic: i benefici sui tuoi compiti restano da misurare. Ogni tre mesi ripeti la stessa prova su un lavoro vero e guarda il risultato con i tuoi occhi.

Domande frequenti

Cos’è METR?

METR, Model Evaluation and Threat Research, è un’organizzazione non profit di Berkeley, in California, che da anni valuta i modelli di Anthropic, OpenAI e altri laboratori. Secondo l’Associated Press si finanzia con donazioni e non accetta compensi per il suo lavoro, mentre le aziende partner forniscono accesso e token.

Cosa vuol dire che Anthropic va al doppio?

Nel linguaggio di METR un’accelerazione di 2 significa fare in un anno due anni di progresso al ritmo storico. Riguarda la velocità con cui migliorano le capacità dei modelli, stimata per i compiti ben definiti. Parla del ritmo di sviluppo: un modello due volte più capace è un’altra affermazione.

Anthropic ha superato la sua soglia di allarme?

Per il 15 luglio, la data a cui si riferisce il rapporto di agosto, Anthropic conclude di no. METR giudica plausibile il contrario, pur precisando che la maggior parte dei ricercatori coinvolti, delle due parti, propende per il no. La valutazione sul mese di ottobre, scrive METR, ha cercato un quadro generale senza dare particolare attenzione alle soglie.

L’AI si sta migliorando da sola?

Secondo quanto riferito a METR, dentro Anthropic l’AI accelera la ricerca soprattutto come assistente. METR scrive di aver capito che ancora non riesce a dare contributi molto rilevanti e pienamente autonomi nelle parti più importanti dell’addestramento dei modelli, anche se i ricercatori parlano di «segni di vita» che fanno pensare a un arrivo vicino.

Cambia qualcosa per chi usa Claude al lavoro?

I testi di METR riguardano lo sviluppo interno e i rischi: niente funzioni nuove, niente date. Una nota però ti tocca: i confronti usano la data in cui la maggior parte dei dipendenti ha potuto usare un modello, e METR osserva che Anthropic tiene i modelli più recenti un po’ più a lungo prima di rilasciarli. Per il resto, le stime dicono poco sui tuoi compiti: vale la prova su un tuo lavoro vero.

Cosa ha risposto Anthropic?

Il cofondatore Sam McCandlish ha scritto su X, come riporta l’Associated Press, che molte conclusioni di METR coincidono con le sue e che «AI is speeding up our research, but it’s hard to say exactly how much»: l’AI accelera la ricerca, ma è difficile dire esattamente quanto. Ha difeso le coperture con il rischio di consegnare agli altri una mappa per andare più veloci. Il suo messaggio originale non è fra i testi consultati.

Fonti

Manuale di sopravvivenza alla stupidità umana — Luca Masrè Passaro
// dal libro
Ti è piaciuto? Nel libro vado più a fondo.

31 capitoli su come funzioniamo. In uscita 16 settembre 2026.

Scopri il libro →
Luca Masrè Passaro
// scritto da
Luca Masrè Passaro

Comunicazione, psicologia e persuasione. Autore del Manuale di sopravvivenza alla stupidità umana.

leggi la mia storia →
// LA MAIL

Hai letto fino a qui.

Continua sulla mail.

Una al mese, al massimo. Solo quando ho qualcosa di buono da dirti.

// continua a leggere

Altri pezzi dalla stessa categoria