Altro che qualche caso isolato: gli incidenti IA che OpenAI e Anthropic stanno analizzando sono decine di migliaia. Lo racconta uno scoop di Axios uscito ieri sera, e per me è la notizia più importante della settimana, perché mette in fila i casi che abbiamo raccontato in questi giorni e dice che sono solo la punta. Nella rassegna di oggi poi: Stati Uniti e Russia che annacquano il primo trattato ONU sulle armi autonome, Pechino che conferma il dialogo sulla “super intelligenza” con Washington, Gemini che in India prova a farti comprare su Flipkart senza uscire dalla chat, un tizio che fa pre-training di un modello da 1,1 miliardi di parametri su una GPU da portatile e un giocattolo per chi disegna diagrammi con gli agenti.
Incidenti IA a decine di migliaia: il problema è più grande di quanto sapevamo
Secondo Axios, OpenAI, Anthropic e diversi ricercatori di sicurezza stanno esaminando decine di migliaia di episodi, avvenuti negli ultimi mesi sia nei test interni sia nel mondo reale, in cui i modelli di frontiera hanno fatto cose che un valutatore esterno considererebbe problematiche. L’elenco fa impressione: aggirare le protezioni, creare bacheche di messaggi, uscire dalle sandbox, dirottare siti web, darsi istruzioni da soli, cercare di eludere i sistemi di monitoraggio. Il numero va letto con il contesto giusto: queste aziende fanno centinaia di migliaia di esecuzioni di test, quindi anche una percentuale piccola di comportamenti disallineati diventa una montagna di casi.
Due dettagli concreti: OpenAI ha messo in pausa l’addestramento dei suoi modelli più capaci finché non avrà nuove salvaguardie, e Anthropic, in una valutazione commissionata a terzi, ha dichiarato che Opus 5.5 ha tentato di uscire dalla sandbox nell’1,5% delle esecuzioni di test avversariali. Da IT manager la lezione è sempre la stessa: se dai a un agente accesso alla rete aziendale, trattalo come un collaboratore esterno molto sveglio e poco prevedibile. Permessi minimi, log, e niente credenziali lasciate in giro.
Stati Uniti e Russia svuotano il trattato ONU sulle armi autonome
Il Washington Post ricostruisce cosa è successo a inizio settembre in Svizzera, dove centinaia di diplomatici lavoravano al primo accordo ONU sulle armi letali autonome. Nelle ultime 15 ore circa di negoziato, le delegazioni di Washington e Mosca hanno tolto dal testo il requisito che questi sistemi funzionino in modo “prevedibile” e “affidabile”, la clausola sulle considerazioni etiche e soprattutto l’obbligo di revisione umana degli obiettivi generati dall’IA prima di un attacco. Secondo le fonti del giornale, ciascuno dei due paesi aveva schierato una decina di avvocati, circa il doppio delle altre delegazioni (qui la versione ripresa dallo Spokesman-Review).
Il testo per ora non è vincolante: a novembre, a Ginevra, si decide se trasformarlo in un vero trattato. Leggendo la notizia subito dopo quella di Axios, il paradosso è evidente: le aziende ammettono di non controllare del tutto i loro modelli, e intanto dai trattati militari sparisce proprio il controllo umano.
Pechino conferma: dialogo sull’IA e un canale diretto per gli incidenti
Sabato il ministero degli Esteri cinese ha confermato il consenso in otto punti raggiunto durante la visita di Xi Jinping a Washington, dal 23 al 25 settembre, come riporta Investing.com. Oltre a una riduzione reciproca dei dazi da 30 miliardi di dollari, i due paesi avvieranno un dialogo per scambiarsi valutazioni su rischi e benefici dell’intelligenza artificiale, con il prossimo incontro a novembre, e apriranno un canale bilaterale di comunicazione per gli incidenti legati all’IA. La Casa Bianca lo ha battezzato “Super Intelligence Dialogue” e c’è già chi lo paragona al telefono rosso della Guerra Fredda (qui un riepilogo). Resta da capire quali eventi faranno davvero squillare quel telefono.
Pausa dalla rassegna, giusto il tempo di una vignetta.
Gemini in India ti fa comprare su Flipkart senza uscire dalla chat
Google sta provando in India un pulsante “Buy” dentro Gemini e AI Mode, per ora solo su alcuni prodotti Flipkart (smartphone, elettronica e accessori) e per un gruppo ristretto di utenti: si passa direttamente al checkout di Flipkart senza abbandonare l’interfaccia dell’IA. Lo scrive TechCrunch, che segnala un’estensione più ampia prevista per ottobre, in vista della stagione degli acquisti per le feste indiane. Il dettaglio curioso: Google ha investito circa 350 milioni di dollari in Flipkart nel 2024, e nella stessa interfaccia i prodotti Amazon compaiono ma senza il pulsante di acquisto. Quando l’assistente diventa anche la cassa, chi sceglie quale negozio mostrarti conta parecchio.
Pre-training di un modello da 1,1 miliardi su una GPU da portatile
Sul blog della community di Hugging Face un utente racconta come ha fatto stare il pre-training di un modello da 1,11 miliardi di parametri su una RTX 4050 da portatile con 6 GB di VRAM, con un picco di memoria di 4,51 GB e 1.579 token al secondo con contesto da 4.096. Il trucco è una combinazione di tecniche: pesi ternari in stile BitNet b1.58, offload dei pesi sulla CPU, gradient checkpointing e un’architettura ibrida con 10 livelli ricorrenti DeltaNet e 2 di attenzione a finestra scorrevole.
Il bello è che l’autore è onesto sui limiti: per arrivare ai 36 miliardi di token che servirebbero secondo Chinchilla ci vorrebbero circa 375 giorni. Farlo entrare in memoria non vuol dire addestrarlo davvero, ma come esercizio di ingegneria è tra le letture più interessanti del weekend.
Drawgent, la lavagna Excalidraw condivisa con Claude Code e Codex
Chiudo con una cosa leggera che ha girato su Hacker News: Drawgent collega un agente di coding (Claude Code, Codex oppure opencode) a una lavagna Excalidraw dal vivo. Chiedi un diagramma nel pannello di chat, oppure scrivi “AGENT:” accanto alla parte del disegno da cambiare, e l’agente guarda la tela, la modifica e segna il compito come fatto. È scritto soprattutto in Rust e si può mettere su un server con Docker. Io i diagrammi di architettura per i clienti li rifaccio sempre tre volte, quindi lo proverò di sicuro.
Questa era la rassegna di oggi. Se vi siete persi i casi da cui nasce lo scoop di Axios, li trovate nella rassegna di ieri sugli agenti OpenAI e Hugging Face. Voi come la vedete: gli incidenti IA sono un prezzo inevitabile della ricerca o un segnale che bisogna rallentare? Scrivetemelo nei commenti.
Lascia un commento