OpenAI sta creando un nuovo team, chiamato Superalignment, che affronterà il problema dell’allineamento delle superintelligenze. L’allineamento della superintelligenza si riferisce ai sistemi AGI che sono allineati con i valori umani e seguono l’intento umano. OpenAI sta dedicando il 20% delle sue risorse di calcolo alla soluzione di questo problema, che spera di risolvere in quattro anni.
Controllare questa superintelligenza non solo richiede nuove istituzioni di governance, ma significa anche risolvere il problema dell’allineamento della superintelligenza, secondo un post sul blog dell’azienda. In altre parole, il team deve capire come far sì che questa superintelligenza si allinei ai valori umani e segua le intenzioni dell’uomo.
Il team Superalignment
OpenAI sta riunendo un gruppo di “ricercatori e ingegneri di machine learning di alto livello”. A guidare il team sono Ilya Sutskever, cofondatore e chief scientist di OpenAI, e Jan Leike, responsabile dell’allineamento.
L’azienda si è impegnata a dedicare il 20% dei calcoli che si è assicurata finora per lavorare su questo problema di allineamento. OpenAI prevede di risolvere le “sfide tecniche fondamentali dell’allineamento delle superintelligenze” in quattro anni.
OpenAI sta assumendo ingegneri ricercatori, scienziati ricercatori e manager ricercatori da inserire nel team Superalignment.
Costruire un ricercatore di allineamento automatizzato di livello umano
OpenAI sta lavorando al problema dell’allineamento da almeno un anno e non ha ancora trovato una soluzione.
“Al momento non disponiamo di una soluzione per guidare o controllare un’AI potenzialmente superintelligente e per evitare che diventi un’entità anomala“, ha dichiarato l’azienda. “Le nostre attuali tecniche di allineamento dell’AI, come l‘apprendimento rinforzato dal feedback umano, si basano sulla capacità dell’uomo di supervisionare l’AI. Ma gli esseri umani non saranno in grado di supervisionare in modo affidabile sistemi di AI molto più intelligenti di noi e quindi le nostre attuali tecniche di allineamento non potranno essere applicate alla superintelligenza. Abbiamo bisogno di nuove scoperte scientifiche e tecniche”.
L’obiettivo del nuovo team è quello di costruire un ricercatore di allineamento automatizzato di livello umano, ossia di costruire sistemi di intelligenza artificiale in grado di allineare sistemi di intelligenza artificiale superintelligenti – e di farlo più velocemente e meglio degli esseri umani.
Per allineare il primo ricercatore di allineamento automatico, il team deve sviluppare un metodo di addestramento scalabile che utilizzi sistemi di AI per aiutare a valutare altri sistemi di AI; convalidare il modello risultante, ad esempio automatizzando la ricerca di comportamenti problematici; e sottoporre a stress test la pipeline di allineamento addestrando deliberatamente modelli non allineati per vedere se vengono rilevati.
I ricercatori umani potranno quindi concentrare i loro sforzi sulla revisione dell’allineamento effettuato dai sistemi di AI, invece di generare questa ricerca da soli. OpenAI ha dichiarato che il suo obiettivo è quello di “addestrare i modelli a essere così allineati da poter scaricare quasi tutto il lavoro cognitivo richiesto per la ricerca sull’allineamento”.
Questa ricerca di allineamento si aggiungerà agli sforzi esistenti per affrontare i danni dei modelli attuali, tra cui l’uso improprio, la perdita di posti di lavoro, la disinformazione, i pregiudizi e altri problemi.
