I ricercatori del Massachusetts General Hospital (MGH) e di AnsibleHealth, uno studio medico abilitato alla tecnologia che fornisce assistenza a pazienti con malattie respiratorie croniche complesse dal punto di vista medico, hanno scoperto in un recente studio che il chatbot di intelligenza artificiale ChatGPT può superare l’esame di licenza medica degli Stati Uniti (USMLE) – risultati che possono evidenziare i potenziali casi d’uso dello strumento nella formazione medica.
Il recente clamore e le preoccupazioni sull’uso di ChatGPT nel settore sanitario, come l’uso dello strumento da parte del servizio di salute mentale digitale Koko in un esperimento per aiutare a sviluppare risposte agli utenti, hanno sollevato domande sui suoi casi d’uso.
Per valutare un aspetto della potenziale utilità di ChatGPT, i ricercatori hanno valutato le sue prestazioni sull’USMLE, che consiste in tre test standardizzati che gli studenti di medicina devono superare per ottenere una licenza medica.
Come ChatGPT ha superato il test di licenza medica
Per fare ciò, il team di ricerca ha ottenuto domande di test disponibili pubblicamente dall’esame di esempio di giugno 2022 pubblicato sul sito Web ufficiale USMLE. Le domande sono state quindi esaminate e qualsiasi domanda che richiedesse una valutazione visiva è stata rimossa.
Da lì, le domande sono state formattate in tre modi:
- prompt a risposta aperta, come ”Quale sarebbe la diagnosi del paziente in base alle informazioni fornite?”;
- risposta singola a scelta multipla senza giustificazione forzata, come ”Le condizioni del paziente sono principalmente causate da quale dei seguenti agenti patogeni?”;
- risposta singola a scelta multipla con giustificazione forzata, come ”Quale delle seguenti è la ragione più probabile per i sintomi notturni del paziente? Spiega la logica di ogni scelta”.
Ogni domanda è stata quindi inserita nel modello separatamente per ridurre la distorsione di conservazione della memoria dello strumento.
Durante i test, i ricercatori hanno scoperto che il modello ha funzionato alla soglia di superamento o vicino alla soglia del 60% di accuratezza senza input specializzati da parte di formatori clinici. Hanno dichiarato che questa è la prima volta che l’AI lo fa.
I ricercatori hanno anche scoperto dopo aver valutato il ragionamento alla base delle risposte dello strumento che ChatGPT ha mostrato un ragionamento comprensibile e approfondimenti clinici validi, il che ha portato a una maggiore fiducia nella fiducia e nella spiegabilità.
Il team di ricerca suggerisce che questi risultati evidenziano come ChatGPT e altri LLM possano potenzialmente aiutare gli studenti nell’educazione medica ed essere integrati in contesti clinici, come gli sforzi in corso di AnsibleHealth per tradurre i rapporti medici tecnici in un linguaggio più facilmente comprensibile per i pazienti che utilizzano ChatGPT.
