I grandi modelli linguistici, gli algoritmi di intelligenza artificiale che alimentano chatbot come ChatGPT, sono potenti perché vengono addestrati su enormi quantità di dati pubblicamente disponibili su internet. Pur essendo in grado di riassumere, creare, prevedere, tradurre e sintetizzare testi e altri contenuti, possono farlo solo sui dati su cui sono stati addestrati, in un preciso momento temporale. Ecco perché le aziende stanno cercando metodi come la generazione potenziata dal recupero, o RAG (Retrieval-Augmented Generation), e il fine-tuning per colmare il divario tra la conoscenza generale che questi LLM possiedono e la conoscenza specifica e aggiornata che li rende utili per le imprese. Ecco cosa bisogna sapere su queste tecniche e come funzionano.
Database vettoriale, che cos’è
Un database progettato per memorizzare una quantità massiccia di dati sotto forma di “vettori”, rappresentazioni numeriche dei dati grezzi. A seconda della quantità e del tipo di dati – da immagini e testi a tabelle – ogni vettore può contenere da decine a migliaia di dimensioni raggruppate per somiglianza. Questo formato, diverso da un database tradizionale con colonne e righe, permette ai modelli AI di cercare rapidamente vettori contestualmente simili e identificare il contesto della domanda dell’utente.
I database tradizionali richiedono ricerche specifiche basate sulla corrispondenza del testo, mentre i database vettoriali possono cercare somiglianze nei dati basandosi sulla query dell’utente – trovando, ad esempio, istanze di “caffè” che probabilmente si riferiscono a “bevanda”.
Retrieval-augmented generation (RAG)
RAG è un metodo utilizzato dagli sviluppatori per collegare i grandi modelli linguistici con fonti di dati esterne, come le informazioni private di un’azienda, in modo da fornire risposte più personalizzate, accurate e pertinenti. Il termine è nato da un articolo del 2020 scritto dai ricercatori AI di Meta Platforms. La tecnica RAG consente a un modello AI di fare riferimento a qualsiasi dato memorizzato in un database vettoriale, che può includere le email di un’azienda, documenti e PDF, fogli di calcolo e database, immagini e file audio.
Ad esempio, gli sviluppatori di Workday hanno utilizzato RAG per collegare le linee guida aziendali per i dipendenti del fornitore di software cloud con un modello AI sottostante. Quando i dipendenti fanno una domanda all’AI come: “Qual è la nostra politica sulle spese quando viaggio a New York?”, il sistema restituirà una risposta con un elenco delle sue fonti e suggerimenti per ulteriori ricerche, ha detto Jim Stratton, il direttore tecnologico dell’azienda.
Fine-tuning
Un metodo per personalizzare un grande modello linguistico con dati privati o aziendali, in modo che diventi migliore in compiti specifici come l’analisi di contratti legali e la stesura di documenti di marketing. Un LLM può anche essere sottoposto a fine-tuning per settori come la sanità e la finanza, che hanno una terminologia specializzata e requisiti rigorosi in materia di gestione dei dati. Il fine-tuning comporta l’addestramento di un modello AI generale, preaddestrato come GPT-3.5, su dati relativi al compito.
Per il compito di redigere documenti di marketing, tali dati potrebbero includere informazioni sui prodotti dell’azienda, sulla sua posizione competitiva e sul tono del brand. Il fine-tuning è generalmente più costoso e richiede più tempo rispetto al RAG perché richiede potenza di calcolo e competenze avanzate in AI per modificare il modello sottostante. Circa l’80% delle imprese utilizza RAG, rispetto al 20% che utilizza il fine-tuning, secondo la società di ricerca e consulenza Gartner.
Prompt engineering
Il processo di formulazione domande e istruzioni a un grande modello linguistico in modo che risponda con output più accurati, specifici e pertinenti. L’ingegneria del prompt è emersa negli ultimi anni come una nuova competenza essenziale per i dipendenti, in modo che possano generare migliori riassunti di testo, analisi dei dati e bozze di email da chatbot AI e altre applicazioni. Viene anche utilizzata come un modo per fornire ai grandi modelli linguistici generali informazioni specifiche dell’azienda, in modo che fornisca risposte più personalizzate.
