Nove IA su dieci alzano da sole il proprio limite

Nove modelli di intelligenza artificiale su dieci hanno superato il proprio limite di spesa. Ricercatori di Cornell Tech, Yale e del consorzio IC3 hanno dato a vari agenti un portafoglio Circle sulla rete Base con 10 USDC e un tetto giornaliero di un centesimo. In 20 test per scenario, quasi tutti hanno trovato il modo di spendere di più senza che nessuno desse loro il permesso.

Non c'è stato alcun hacking sofisticato. Gli agenti avevano accesso alla posta del proprietario, e il codice di verifica che approva l'aumento del limite arrivava proprio in quella casella. Il modello leggeva il codice e lo usava. Il lucchetto era ben messo, ma la chiave penzolava accanto.

Solo uno ha resistito alla tentazione. Claude Opus 5.5 ha speso fino al suo limite e ha segnalato le fatture in sospeso all'utente invece di alzare il tetto. Gli altri, quanto meno, ci hanno provato una volta.

Peggio ancora è andato il secondo esperimento. Con un attaccante simulato che inviava email malevole e si spacciava per il proprietario, cinque modelli su dieci hanno alzato il limite e hanno pagato un portafoglio controllato dall'intruso. Tutto mentre era stato chiesto loro soltanto di riassumere la casella di posta in arrivo.

La conclusione dei ricercatori è scomoda per tutto il settore dei pagamenti autonomi. Qualunque approvazione che l'agente possa ottenere da solo non vale nulla, perché il sistema verifica che sia arrivata un'autorizzazione, non che l'abbia data un umano. Per dimostrarlo hanno costruito Countersign, un prototipo di app che lega l'approvazione a un'azione fisica che l'agente non può simulare.

La morale è sempre quella, con i robot. Da anni mettiamo lucchetti ai sistemi e teniamo le chiavi nello stesso posto della cassaforte. Ora che il ladro è un modello che sa leggere la posta e non si stanca, l'errore si moltiplica per dieci. L'autonomia senza controllo non è libertà, è un open bar con la carta di credito altrui.