OpenAI ha compiuto un passo significativo nel campo dell’intelligenza artificiale generativa con il lancio di “4o image generation”. Questo nuovo sistema rappresenta un’evoluzione notevole rispetto ai precedenti modelli DALL·E, offrendo capacità notevolmente superiori nella creazione di immagini. La caratteristica distintiva di “4o image generation” risiede nella sua integrazione nativa e profonda nell’architettura del modello omnimodale GPT-4o. Questa integrazione permette al sistema di sfruttare tutta la conoscenza del modello per applicare le sue capacità in modi sottili ed espressivi, generando immagini non solo esteticamente piacevoli ma anche funzionali.
Secondo quanto riportato nell’addendum alla scheda tecnica di GPT-4o, questa nuova architettura consente capacità senza precedenti, tra cui la trasformazione di immagini esistenti, la creazione di output fotorealistici e la capacità di seguire istruzioni dettagliate, inclusa l’incorporazione affidabile di testo nelle immagini generate.
La profonda integrazione con il modello linguistico permette a GPT-4o di sfruttare tutta la sua conoscenza per applicare queste capacità in modi sottili ed espressivi, producendo immagini non solo esteticamente gradevoli, ma anche funzionali e contestualmente rilevanti.
Questa evoluzione rappresenta un salto qualitativo nella generazione di contenuti visivi, aprendo nuove possibilità in campi come il design, l’educazione e la comunicazione visiva.
Indice degli argomenti:
4o image generation: capacità innovative e nuove sfide di sicurezza
A differenza di DALL·E, che operava come modello di diffusione, “4o image generation” si basa su un modello autoregressivo integrato nativamente all’interno di ChatGPT. Questa differenza fondamentale introduce diverse nuove capacità, distinte dai modelli generativi precedenti, e che presentano nuovi rischi:
- Trasformazione Immagine-a-Immagine: capacità di prendere una o più immagini come input e produrre un’immagine correlata o modificata.
- Fotorealismo: la capacità di generare output con un elevato livello di fotorealismo, tanto da apparire in alcuni casi come fotografie.
- Seguire istruzioni dettagliate: capacità di comprendere e seguire istruzioni dettagliate, inclusa la riproduzione di testo e diagrammi didattici.
Queste nuove capacità, da sole o in combinazione, possono potenzialmente creare rischi in diverse aree, in modi che i modelli precedenti non potevano. Ad esempio, senza controlli di sicurezza, “4o image generation” potrebbe creare o alterare fotografie in modi dannosi per le persone raffigurate o fornire schemi e istruzioni per la fabbricazione di armi.
Video 4o image generation – OpenAi
Mitigazione dei rischi: l’approccio di OpenAI alla sicurezza
OpenAI ha sviluppato una serie di strategie di mitigazione per affrontare le sfide di sicurezza uniche poste da “4o image generation”:
- Rifiuti del modello di chat: il modello di chat principale agisce come prima linea di difesa contro la generazione di contenuti che violano le politiche di OpenAI, rifiutando di attivare il processo di generazione di immagini in base al prompt dell’utente.
- Blocco dei prompt: dopo che è stata effettuata una chiamata allo strumento di generazione di immagini 4o, questo processo blocca la generazione di un’immagine se i classificatori di testo o immagini segnalano il prompt come violazione delle politiche.
- Blocco degli output: applicato dopo la generazione di un’immagine, questo approccio utilizza una combinazione di controlli, inclusi classificatori di materiale pedopornografico (CSAM) e un monitor di ragionamento focalizzato sulla sicurezza, per bloccare l’output di immagini che violano le politiche. Questo monitor è un modello di ragionamento multimodale addestrato appositamente per ragionare sulle politiche dei contenuti.
- Maggiori tutele per i minori: OpenAI applica tutte le mitigazioni sopra elencate per creare un’esperienza ancora più sicura per gli utenti che si presume abbiano meno di 18 anni e cerca di limitare la loro capacità di creare determinate categorie di contenuti potenzialmente inappropriati per l’età. Gli utenti di età inferiore ai 13 anni non possono utilizzare i prodotti o i servizi di OpenAI.
4o image generation: valutazioni rigorose per garantire la sicurezza
OpenAI ha valutato la sicurezza e l’efficacia delle misure di sicurezza di “4o image generation” osservando le sue prestazioni con prompt provenienti da tre fonti diverse:
- Red teaming esterno e manuale: OpenAI ha collaborato con esperti esterni per testare il sistema, esplorando diverse aree prioritarie e tentando di aggirare le protezioni del modello.
- Red teaming automatizzato: sono state generate conversazioni sintetiche per sondare le prestazioni del sistema in relazione a ciascuna parte della politica del modello.
- Test offline utilizzando scenari del mondo reale: sono stati valutati prompt testuali che riflettono scenari reali per comprendere il comportamento del modello in un ambiente di produzione.
I risultati di queste valutazioni hanno fornito dati sulle percentuali di “not_unsafe” (il sistema produce output che violano le politiche del modello?) e “not_overrefuse” (il sistema si rifiuta di soddisfare una richiesta conforme alle politiche del modello?).
Focus su aree di rischio specifiche
OpenAI ha dedicato particolare attenzione a diverse aree di rischio specifiche:
Sicurezza dei minori
- Priorità alla prevenzione, al rilevamento e alla segnalazione di materiale pedopornografico (CSAM). Sono stati implementati meccanismi di rilevamento avanzati per input e output di testo e immagini, inclusa l’integrazione con Safer di Thorn e l’utilizzo di classificatori multimodali. Al lancio, la modifica di immagini caricate di bambini fotorealistici non sarà consentita.
Stili artistici
Adottato un approccio conservativo per evitare la generazione di immagini nello stile di artisti viventi.
Figure pubbliche
Al lancio, non è bloccata la capacità di generare figure pubbliche adulte, ma sono implementate le stesse protezioni applicate alle modifiche di immagini fotorealistiche caricate di persone. Le figure pubbliche che desiderano che la loro immagine non venga generata possono richiedere l’opt-out.
Bias
4o image generation mostra miglioramenti rispetto a DALL·E 3 per quanto riguarda i bias di rappresentazione, ma rimangono sfide, in particolare intorno alla rappresentazione demografica. OpenAI prevede di continuare a perfezionare il proprio approccio e investire in mitigazioni post-addestramento più efficaci per migliorare gli output del modello. Le valutazioni hanno mostrato che 4o image generation produce una gamma più ampia di risultati rispetto a DALL·E 3 quando vengono utilizzati prompt non specifici.
Sfide etiche: bias, rappresentazione e privacy
Le sfide etiche poste da GPT-4o in termini di bias, rappresentazione e privacy sono significative e richiedono un’attenzione costante. L’addendum alla scheda tecnica di OpenAI fornisce un’analisi dettagliata di queste problematiche, evidenziando i progressi compiuti rispetto ai modelli precedenti ma anche le aree che necessitano di ulteriore miglioramento.
Per quanto riguarda il bias e la rappresentazione, OpenAI ha condotto valutazioni approfondite su attributi come genere, razza e tono della pelle. I risultati mostrano che GPT-4o genera una gamma più diversificata di output rispetto a DALL-E 3 quando riceve prompt non specificati, con una frequenza più elevata di output eterogenei e una maggiore entropia di Shannon.
Ad esempio, per il genere, GPT-4o ha mostrato una distribuzione del 79% maschile e 21% femminile per prompt individuali, rispetto all’86% maschile e 14% femminile di DALL-E 3. Tuttavia, OpenAI riconosce che persistono sfide, in particolare nella rappresentazione demografica, e si impegna a continuare a raffinare il suo approccio.
Per quanto riguarda la privacy, sono state implementate salvaguardie specifiche per prevenire la generazione di immagini erotiche o sessualmente esplicite e per proteggere contro l’imagery intima non consensuale o qualsiasi tipo di deepfake sessuale.
Inoltre, OpenAI ha adottato un approccio conservativo riguardo alla generazione di immagini nello stile di artisti viventi, implementando un rifiuto che si attiva quando un utente tenta di generare un’immagine in tale stile. Queste misure dimostrano l’impegno di OpenAI nel bilanciare l’innovazione tecnologica con considerazioni etiche, pur riconoscendo la necessità di un miglioramento continuo in queste aree critiche.
Impegno per la provenienza e il miglioramento continuo
OpenAI ha continuato a dare priorità al miglioramento degli strumenti di provenienza, includendo metadati C2PA su tutte le risorse e strumenti interni per valutare se un’immagine è stata creata dai suoi prodotti. L’azienda si impegna a migliorare l’ecosistema della provenienza e a collaborare con l’industria e la società civile su questo tema.
Con il lancio di 4o image generation e il lavoro sulla sicurezza descritto, OpenAI ribadisce il suo impegno per un approccio rigoroso e iterativo per rendere i sistemi di intelligenza artificiale sicuri, continuando a perfezionare e rafforzare le misure di sicurezza in base all’utilizzo e ai futuri sviluppi.
Strategie di mitigazione e valutazioni di sicurezza
Per affrontare le sfide di sicurezza uniche poste da GPT-4o, OpenAI ha implementato un robusto stack di sicurezza che comprende molteplici strategie di mitigazione. Come dettagliato nell’addendum, queste includono
- rifiuti del modello di chat,
- blocco dei prompt e blocco dell’output.
Il modello di chat principale funge da prima linea di difesa, potendo rifiutare di attivare il processo di generazione di immagini basandosi sulle sue misure di sicurezza post-addestramento.
Il blocco dei prompt impedisce la generazione di immagini se i classificatori di testo o immagine segnalano una violazione delle politiche.
Il blocco dell’output utilizza una combinazione di controlli, inclusi classificatori di materiale di abuso sessuale su minori (CSAM) e un monitor di ragionamento focalizzato sulla sicurezza, per bloccare le immagini che violano le politiche dopo la generazione.
OpenAI ha condotto valutazioni approfondite dell’efficacia di queste misure attraverso red teaming esterno manuale, red teaming automatizzato e test offline utilizzando scenari del mondo reale.
I risultati riportati mostrano prestazioni impressionanti, con tassi di non_unsafe (output che non viola le politiche del modello) superiori al 95% in tutti gli scenari di test. Tuttavia, OpenAI riconosce che queste misure di sicurezza possono occasionalmente portare a falsi positivi, come nel caso del classificatore di persone fotorealistiche che può erroneamente segnalare adulti dall’aspetto giovane come minori.
Protezione dei minori e contenuti sensibili
La protezione dei minori e la gestione dei contenuti sensibili rappresentano una priorità fondamentale per OpenAI nell’implementazione di GPT-4o. L’addendum alla scheda tecnica delinea una serie di misure robuste adottate per affrontare queste delicate questioni.
In primo luogo, OpenAI ha implementato salvaguardie rafforzate per gli utenti che si ritiene possano essere minorenni, limitando la loro capacità di creare determinate categorie di contenuti potenzialmente inappropriati per l’età. Inoltre, gli utenti di età inferiore ai 13 anni sono attualmente esclusi dall’utilizzo di qualsiasi prodotto o servizio OpenAI.
Per quanto riguarda la protezione contro il materiale di abuso sessuale su minori (CSAM), l’azienda ha integrato il sistema Safer sviluppato da Thorn per rilevare corrispondenze con CSAM noto. Le corrispondenze confermate vengono rifiutate e segnalate al National Center for Missing and Exploited Children (NCMEC), con conseguente ban dell’account utente associato.
OpenAI utilizza anche il classificatore CSAM di Thorn per identificare potenziali nuovi contenuti CSAM non ancora catalogati, sia negli upload di immagini che nelle immagini generate da GPT-4o. Un classificatore di moderazione multimodale è stato implementato per rilevare e bloccare qualsiasi contenuto sessuale generato che coinvolga minori.
Inoltre, è stato sviluppato un classificatore di persone fotorealistiche basato sul classificatore under-18 esistente utilizzato per Sora, al fine di analizzare tutte le immagini caricate e prevedere se raffigurano un minore. Al lancio, la generazione fotorealistica di bambini è consentita solo quando non si tratta di una modifica di immagine di un minore fotorealistico, e deve comunque rispettare tutti i vincoli di sicurezza delle politiche di OpenAI.
Innovazioni nella provenienza e autenticità delle immagini
OpenAI ha dato priorità allo sviluppo di strumenti avanzati per la provenienza e l’autenticità delle immagini generate da GPT-4o, basandosi sulle lezioni apprese da DALL-E e Sora. Come dettagliato nell’addendum alla scheda tecnica, per la disponibilità generale di GPT-4o, gli strumenti di sicurezza per la provenienza includeranno metadati C2PA su tutti gli asset, fornendo un’origine verificabile secondo uno standard industriale.
Questo approccio mira a creare un livello di trasparenza e tracciabilità per le immagini generate dall’AI, contribuendo a mitigare i rischi associati alla disinformazione visiva e ai deepfake.
Inoltre, OpenAI ha sviluppato strumenti interni per aiutare a valutare se una determinata immagine è stata creata dai loro prodotti. Questa capacità potrebbe rivelarsi cruciale in scenari in cui è necessario determinare l’autenticità o l’origine di un’immagine sospetta. OpenAI riconosce che non esiste una soluzione unica al problema della provenienza, ma si impegna a migliorare l’ecosistema della provenienza, continuando a collaborare su questa questione in tutto il settore e con la società civile.
L’obiettivo è quello di contribuire a costruire contesto e trasparenza per i contenuti creati da GPT-4o e in tutti i loro prodotti. Questo approccio multifaceted alla provenienza e all’autenticità delle immagini dimostra l’impegno di OpenAI nel bilanciare l’innovazione tecnologica con la responsabilità etica, riconoscendo l’importanza cruciale di questi aspetti nell’era della generazione di immagini basata sull’AI.
Impatto su creatività, arte e diritti d’autore
L’introduzione di GPT-4o solleva questioni complesse riguardanti l’impatto sulla creatività, l’arte e i diritti d’autore. Come evidenziato nell’addendum alla scheda tecnica di OpenAI, il modello è in grado di generare immagini che richiamano l’estetica del lavoro di alcuni artisti quando il loro nome viene utilizzato nel prompt. Questa capacità ha sollevato importanti domande e preoccupazioni all’interno della comunità creativa.
In risposta, OpenAI ha optato per un approccio conservativo con questa versione di GPT-4o, implementando un rifiuto che si attiva quando un utente tenta di generare un’immagine nello stile di un artista vivente. Questa decisione riflette la consapevolezza di OpenAI delle complesse implicazioni etiche e legali legate alla generazione di immagini basate sullo stile di artisti esistenti.
Per quanto riguarda le figure pubbliche, OpenAI ha adottato un approccio più sfumato rispetto ai modelli DALL-E precedenti. Mentre non blocca completamente la capacità di generare rappresentazioni di figure pubbliche adulte, implementa le stesse salvaguardie utilizzate per la modifica di immagini fotorealistiche di persone.
Questo include il blocco della generazione di immagini fotorealistiche di figure pubbliche minorenni e di materiale che viola le politiche relative a violenza, immagini d’odio, attività illecite, contenuti erotici e altre aree sensibili.
OpenAI offre anche la possibilità alle figure pubbliche di optare per l’esclusione dalla generazione della loro immagine. Questo approccio più granulare apre la possibilità di usi utili e benefici in aree come l’educazione, la satira e il discorso politico, pur mantenendo un equilibrio con considerazioni etiche e legali. OpenAI si impegna a monitorare attentamente l’uso di questa capacità dopo il lancio, valutando le proprie politiche e adattandole se necessario. Queste decisioni riflettono la complessità del bilanciamento tra innovazione tecnologica, espressione creativa e protezione dei diritti degli artisti e delle figure pubbliche nell’era dell’AI generativa.
Prospettive future e iterazione continua sulla sicurezza dell’AI
Il lancio di GPT-4o rappresenta un passo significativo nell’evoluzione dell’AI generativa, ma OpenAI riconosce che questo è solo l’inizio di un percorso di continuo miglioramento e adattamento. Come sottolineato nelle conclusioni dell’addendum alla scheda tecnica, l’azienda si impegna in un approccio rigoroso e iterativo per rendere i sistemi di AI sicuri. La scheda tecnica fornisce una panoramica dell’approccio alla sicurezza al momento del lancio, ma OpenAI anticipa già la necessità di perfezionare e rafforzare ulteriormente il proprio lavoro sulla sicurezza man mano che si apprenderà da questo e dai futuri deployment. Questo impegno per l’iterazione continua si riflette in vari aspetti del sistema.
Ad esempio, nel campo della rappresentazione e del bias, OpenAI prevede di continuare a perfezionare il proprio approccio e investire nello sviluppo di mitigazioni post-addestramento più efficaci nei prossimi mesi. Similmente, per quanto riguarda la provenienza e l’autenticità delle immagini, l’azienda si impegna a migliorare continuamente l’ecosistema della provenienza, collaborando con l’industria e la società civile. La flessibilità nell’adattare le politiche in base all’uso effettivo del modello è evidente nell’approccio alla generazione di immagini di figure pubbliche, dove OpenAI si impegna a monitorare attentamente l’utilizzo di questa capacità e ad adeguare le proprie politiche se necessario.
Questo approccio dinamico e adattivo alla sicurezza dell’AI riflette la consapevolezza di OpenAI della natura in rapida evoluzione del campo e delle sfide etiche e di sicurezza emergenti. L’azienda riconosce che, con l’evolversi della tecnologia e del suo utilizzo, sarà necessario un costante riesame e adattamento delle misure di sicurezza per garantire che l’AI generativa rimanga sia innovativa che responsabile.
