Se ne va da OpenAI e lo fa con un'accusa che investe non soltanto l'azienda per cui ha lavorato negli ultimi tre anni e mezzo, ma l'intero modello con cui la Silicon Valley sta affrontando la corsa all'intelligenza artificiale.
David Robinson, uno dei principali responsabili del lavoro sulla sicurezza di OpenAI, ha rassegnato le dimissioni e affidato a The Atlantic le ragioni della sua scelta. Il titolo scelto per il suo intervento non lascia molto spazio alle interpretazioni: «Mi sono dimesso da OpenAI perché la sua cultura è rotta».
Robinson guidava la preparazione dei rapporti sulla sicurezza che accompagnavano i principali lanci dei modelli dell'azienda. Nei tre anni e mezzo trascorsi a OpenAI ha supervisionato i documenti relativi a 12 lanci di modelli avanzati e ha contribuito alla stesura del Preparedness Framework, il sistema attraverso il quale la società valuta alcuni dei rischi più gravi legati alle capacità dei propri modelli.
La sua tesi è netta: le capacità dell'intelligenza artificiale stanno aumentando più velocemente della capacità delle aziende di comprenderne e controllarne i rischi.
E il metodo che ha accompagnato finora lo sviluppo dell'AI, sostiene Robinson, potrebbe non essere più sufficiente.
Link to «Il tempo dei tentativi ed errori è finito»«Il tempo dei tentativi ed errori è finito»
Il punto centrale della critica riguarda quella che OpenAI definisce iterative deployment: sviluppare e distribuire progressivamente i sistemi, osservare i problemi che emergono e rafforzare di conseguenza le protezioni.
È un metodo che ha accompagnato buona parte dello sviluppo dell'intelligenza artificiale generativa. Secondo Robinson, però, più i modelli diventano potenti, più aumenta il prezzo potenziale di un errore.
«Il tempo dei tentativi ed errori è finito», scrive.
Il problema, nella sua ricostruzione, non sarebbe semplicemente la mancanza di una particolare regola o di un determinato controllo. Sarebbe la cultura stessa delle aziende tecnologiche: obiettivi estremamente ambiziosi, scadenze serrate e una successione quasi permanente di nuovi lanci.
Una corsa nella quale chi si occupa di sicurezza rischia di dover inseguire lo sviluppo tecnologico invece di precederlo.
«Mentre l'azienda corre da un lancio all'altro», sostiene Robinson, non riesce a raggiungere il livello di cautela che lui considera necessario.
Link to OpenAI come una centrale nucleareOpenAI come una centrale nucleare
Il paragone utilizzato dall'ex dipendente è significativo.
Le aziende che sviluppano i sistemi di intelligenza artificiale più avanzati, sostiene, dovrebbero iniziare a comportarsi più come centrali nucleari o grandi aeroporti: settori nei quali la sicurezza non dipende dalla capacità di correggere rapidamente un errore dopo che si è verificato, ma da procedure ridondanti, controlli indipendenti e pianificazione preventiva.
Un errore umano, in sistemi sufficientemente potenti, non dovrebbe poter aprire da solo la strada a conseguenze molto più grandi.
Robinson racconta però di non aver incontrato durante la sua esperienza in OpenAI colleghi provenienti direttamente da settori abituati a gestire rischi di questo tipo, come l'aviazione o il nucleare.
Il suo ragionamento non è che gli attuali modelli abbiano già provocato catastrofi comparabili. È piuttosto una richiesta di cambiare metodo prima che le capacità dei sistemi aumentino ulteriormente.
Link to Gli incidenti citati da RobinsonGli incidenti citati da Robinson
A sostegno delle proprie preoccupazioni Robinson richiama alcuni episodi avvenuti negli ultimi mesi.
Tra questi cita un incidente che ha coinvolto sistemi di OpenAI e Hugging Face e un successivo episodio nel quale, secondo quanto riferito dall'azienda, un modello durante l'addestramento riuscì ad aggirare alcune restrizioni sull'accesso a Internet.
Il sistema di monitoraggio segnalò il comportamento agli operatori umani, ma non bloccò automaticamente il modello come previsto.
Robinson ricorda inoltre un problema verificatosi presso Anthropic, concorrente di OpenAI, dove alcuni meccanismi di sicurezza furono accidentalmente disattivati a causa di un errore di configurazione.
Per l'ex dipendente, questi episodi mostrano soprattutto quanto sia difficile eliminare completamente l'errore umano quando aziende e ricercatori lavorano con tempi estremamente rapidi.
Link to La risposta di OpenAILa risposta di OpenAI
OpenAI respinge l'idea che la sicurezza venga sacrificata alla velocità.
In risposta alle critiche di Robinson, un portavoce dell'azienda ha dichiarato che la società sta lavorando affinché i modelli non diventino più potenti di quanto possa essere gestito in condizioni di sicurezza e ha affermato che OpenAI è pronta a rallentare l'addestramento o trattenere un modello quando lo ritiene necessario.
La società sostiene inoltre di stare rafforzando la sicurezza degli ambienti di ricerca e test, ampliando il ricorso a valutatori esterni e migliorando il monitoraggio in tempo reale per individuare comportamenti problematici già durante l'addestramento.
Sono quindi due letture differenti.
Per OpenAI i sistemi di sicurezza stanno evolvendo insieme alle capacità dei modelli. Per Robinson, invece, il problema è che l'intero settore continua a muoversi con una velocità incompatibile con il livello di prudenza che tecnologie sempre più potenti richiederebbero.
Link to Non è la prima uscita sulla sicurezzaNon è la prima uscita sulla sicurezza
Le dimissioni assumono un peso maggiore perché non rappresentano un episodio isolato.
A luglio aveva lasciato OpenAI Johannes Heidecke, responsabile del team Safety Systems, dopo una riorganizzazione che puntava a integrare maggiormente ricerca e sicurezza.
Negli anni precedenti altre figure impegnate sul fronte della sicurezza avevano lasciato la società manifestando preoccupazioni sul rapporto tra sviluppo dei modelli e capacità di controllarne i rischi.
E pochi giorni prima dell'annuncio di Robinson, OpenAI aveva interrotto il rapporto con tre ricercatori della sicurezza accusati dall'azienda di aver gestito impropriamente informazioni riservate condividendole al di fuori delle procedure previste. OpenAI ha sostenuto che la decisione riguardasse la gestione di materiale sensibile.
Sono vicende differenti e non vanno confuse. Ma insieme contribuiscono a riportare al centro una domanda che accompagna ormai tutta l'industria dell'intelligenza artificiale: chi stabilisce quanto velocemente sia possibile procedere quando sono le stesse aziende che sviluppano i modelli a definirne gran parte delle regole di sicurezza?
Link to «La cultura è rotta»«La cultura è rotta»
Robinson porta la questione ancora più indietro, alla cultura che ha reso possibile l'ascesa della Silicon Valley.
La capacità di sperimentare rapidamente, accettare il fallimento e correggere continuamente i prodotti è stata per decenni uno dei motori dell'innovazione tecnologica.
Ma, sostiene, quel metodo potrebbe diventare molto più rischioso quando il prodotto non è più una semplice applicazione e si lavora invece alla costruzione di sistemi autonomi sempre più capaci.
Per questo l'ex dipendente chiede maggiori competenze specifiche sulla sicurezza, più ricerca prima di aumentare ulteriormente le capacità dei modelli e incentivi esterni che non lascino alle sole aziende il compito di decidere quanto rischio accettare.
Il punto più delicato riguarda proprio il futuro.
Robinson sostiene che la ricerca non abbia ancora risolto completamente il problema dell'alignment, cioè come garantire che sistemi sempre più avanzati continuino ad agire in accordo con gli obiettivi e i valori umani. Più aumentano le loro capacità mentre queste domande rimangono aperte, sostiene, maggiore diventa il rischio.
Le sue sono valutazioni e previsioni sui possibili pericoli futuri, non la prova che gli attuali sistemi siano fuori controllo. Ma arrivano da una persona che per tre anni e mezzo ha lavorato proprio alla valutazione dei rischi dei modelli di OpenAI.
Ed è questo a dare alle dimissioni un significato che va oltre l'uscita di un singolo dipendente.
La domanda sollevata da Robinson è molto più semplice da formulare che da risolvere: nella corsa a costruire intelligenze artificiali sempre più potenti, chi decide quando è arrivato il momento di rallentare?
(Associated Medias) - Tutti i diritti sono riservati