ChatGPT batte tutti gli altri chatbot per avvocati in un test. Il modello di OpenAI ha ottenuto i migliori risultati sul ragionamento legale, anche se non è ancora all’altezza delle conoscenze richieste agli avvocati umani.
ChatGPT valutato da LegalBench
Ricercatori di intelligenza artificiale e avvocati hanno lavorato insieme per progettare LegalBench, che valuta la capacità dei chatbot AI di svolgere sei diversi tipi di ragionamento legale. LegalBench comprende 162 compiti pratici che gli avvocati umani devono svolgere nella pratica quotidiana, come analizzare correttamente i documenti legali e individuare diversi tipi di linguaggio giuridico.
Questo fa sì che LegalBench sia più rilevante per la pratica legale nella vita reale che non per la semplice verifica della capacità di un’intelligenza artificiale di memorizzare le informazioni necessarie per superare l’esame di abilitazione, afferma Neel Guha dell’Università di Stanford in California. GPT-4 di OpenAI ha già dimostrato di essere in grado di superare l’esame di abilitazione medio con un punteggio del 75%.
Guha i suoi colleghi hanno lavorato con professionisti del settore legale per progettare LegalBench e hanno poi valutato 20 modelli linguistici di grandi dimensioni commerciali e open-source, tra cui GPT-4 e GPT-3.5 di OpenAI. GPT-4 ha generalmente ottenuto le migliori prestazioni, con punteggi compresi tra 70 e 80 su 100. Tuttavia, ha ottenuto scarsi risultati nel richiamo di informazioni e nel ricordare le specificità delle norme giuridiche, con un punteggio di soli 59 punti. I modelli GPT-3.5 di OpenAI, Claude di Anthropic e Llama di Meta sono rimasti generalmente indietro.
“Credo che l’aspettativa sia che un professionista legale umano addestrato per questo compito si avvicini alla perfezione nella maggior parte dei compiti di LegalBench”, afferma Guha. “Purtroppo, non abbiamo avuto la possibilità di valutare un professionista legale umano su questi compiti, quindi non abbiamo una risposta precisa” sul confronto con le prestazioni dell’intelligenza artificiale.
I primi tentativi di utilizzare chatbot di intelligenza artificiale nelle aule di tribunale si sono talvolta rivelati disastrosi, e questa scoperta si aggiunge alle prove che l’intelligenza artificiale non è pronta a gestire le complessità delle argomentazioni legali del mondo reale.
Una ricerca accademica di questo tipo, che fornisca “una classifica indipendente e comparativa delle varie [Ais], sarà probabilmente utile per gli studi legali e i team legali interni”, afferma Tom Roberts, socio fondatore di Allen & Overy, uno studio legale globale con sede a Londra.
Dal febbraio 2023, il suo studio legale sta testando la capacità della tecnologia AI generativa di OpenAI – personalizzata dall’azienda Harvey – di redigere e-mail e ricercare argomenti legali. Le sfide maggiori nell’adozione dell’AI riguardano i costi, la gestione dei rischi, la sicurezza delle informazioni per i dati proprietari, ma anche, cosa fondamentale, il modo in cui tali tecnologie gestiscono i ragionamenti legali più complessi, afferma Roberts.
Tuttavia, dati i “limiti significativi” dell’AI, lo studio legale è stato attento a “porre chiari limiti all’uso della tecnologia e ad avere sempre un umano nel giro”, afferma Roberts.
Secondo Guha, i chatbot di intelligenza artificiale possono ancora produrre risposte fuorvianti o sbagliate quando si chiede loro di fornire informazioni su casi specifici, leggi o regolamenti.
L’uso di chatbot di intelligenza artificiale nella professione legale solleva anche questioni etiche relative alla pratica legale non autorizzata, ai diritti d’autore, alla negligenza legale e a chi può accedere a tale assistenza legale, afferma Guha. Ad esempio, un’azienda che fornisca un chatbot AI per servizi legali senza l’intervento di un umano potrebbe violare le leggi degli Stati Uniti che richiedono l’intervento di avvocati abilitati.
Riferimento: arXivDOI: 10.48550/arXiv.2308.11462
