Il successo di OpenAI, segnatamente di ChatGPT, è sia causa che riflesso del poderoso sviluppo del mercato e della tecnologia AI. Sotto la spinta del processo di crescita questo ambito di business si va pertanto popolando di nuovi attori e protagonisti e la startup Cohere emerge come una realtà significativa del nuovo scenario.
In questo settore, andando più nello specifico, cresce la componente LLM a livello globale, sostenuta dalle aziende – che se ne avvalgono per produrre contenuti, automatizzare le attività, migliorare le interazioni coi clienti o l’analisi di dati e stimolare l’innovazione – e favorita dall’intervento delle autorità statali come in Cina.
Cohere, come nasce, di cosa si occupa
Cohere è una startup, fondata nel 2019 da Aidan Gomez e Nicholas Frosst (ex ricercatori di Google Brain, vicini a Geoff Hinton, inventore del deep learning) e Ivan Zhang, con sedi a Toronto e San Francisco, specializzata sugli LLM e tecnologia AI per le imprese.
Cohere si avvale delle ricerche effettuate da Aidan Gomez, co-autore di un noto paper “Attention is all you need” che ha definito il concetto di architettura Transformer di rete neurale, basata esclusivamente sui meccanismi di attenzione. Il lavoro pubblicato nel 2017 ha permesso all’attuale Ceo di Cohere, Aidan Gomez, di essere indicato nel 2023 dalla rivista Time come una delle 100 persone più influenti nel campo AI.
Cohere continua a raccogliere fondi, dei quali le startup AI beneficiano più di altre (negli Usa lo scorso anno 1 dollaro su 3 degli investimenti complessivi), e il valore dell’azienda è stato valutato in oltre 2 miliardi di dollari. È inoltre supportata da società e partner importanti come Oracle, Invidia, Salesforce, McKinsey, lo stesso Geoff Hinton, e Google che ha messo a disposizione la sua potente infrastruttura cloud.
Coral, il knowledge assistant per le imprese
Tra i prodotti di punta di Cohere c’è Coral, chatbot specificamente predisposto per le aziende. L’idea è fornire un knowledge assistant in grado di migliorare le prestazioni dei dipendenti che hanno bisogno di continue informazioni. La cui ricerca, in determinati settori, secondo un’indagine McKinsey, assorbe fino al 20 per cento del tempo di lavoro.
Coral è stato inizialmente offerto come demo gratuita per permettere agli utenti di testarla im prima persona, previo accesso con credenziali o via account Google. In seguito, ha introdotto il chatbot nel mese di luglio 2023 con un’API che consente di integrarlo nelle app.
Coral è rivolto, in particolare, ai knowledge workers, che sono avvantaggiati dall’avere a disposizione una interfaccia tecnologica capace di sostenere le attività quotidiane, e ai team di assistenza clienti che grazie al chabot AI sono in grado di risolvere le problematiche in maniera più rapida ed efficiente. In questo senso, l’obiettivo è incidere significativamente sulla produttività aziendale.
Per potere essere efficaci, Cohere lavora a stretto contatto con le aziende per sviluppare un knowledge assistant a misura delle loro particolari neccessità.
È importante, sotto questo aspetto, la customizzazione che Coral può consentire attraverso l’integrazione a database, strumenti CRM, e motori di ricerca, utili a incrementare una base di conoscenza adeguata accedendo a un numero vasto di datapoint. Per inciso, è con questo approccio in un’ottica di Retrieval augmented Generation (RAG), che si cerca di aumentare l’accuratezza della risposta e ridurre ai minimi termini il fenomeno hallucination.
L’AI conversazionale di Cohere comprende l’intento dell’interlocutore ed è in grado di supportare ricerche, creare bozze o sunti di testo. In una stessa conversazione Coral può predisporre un quadro generale su un argomento richiesto, ad esempio da un analista finanziario, riguardo un nuovo mercato e contemporaneamente identificarne i principali player.
Per permettere di verificare quanto generato, a corredo del testo sono disponibili le diverse fonti da cui derivano le risposte. Il modello LLM Command che alimenta Coral è addestrato a cercare i dati in base alle esigenze del singolo utente, attingendo a una pluralità di fonti di informazione. Informazione di cui occorre accertarsi dell’attendibilità identificandone la provenienza.
Coral garantisce, inoltre, un ambiente di conversazione informato ai principi della privacy e della sicurezza : i dati di prompting e l’output di chatbot restano nel perimetro aziendale.
Cohere: il servizio “Command” per la creazione di contenuti
Cohere consente a sviluppatori e aziende di creare applicazioni basate su LLM. Command è il principale modello linguistico di Cohere per la generazione di testo ed è impiegato in casi d’uso che riguardano agenti conversazionali, copywriting e risposte a domande.
È già in grado di eseguire molti compiti per default ma, volendo, può essere personalizzato in base alle esigenze particolari di ogni singola azienda. Il modello è passibile di essere addestrato su dati specifici, anche interni dell’impresa (quindi con tecniche di fine-tuning), e informazioni mirate per applicazioni aziendali e ha un approccio cloud-agnostic.
Grazie a Command è possibile produrre un’ampia varietà di contenuti come descrizioni di prodotti e servizi, testo di Faq, comunicati stampa, post di LinkedIn o blog, ma anche effettuare compiti quali identificare email spam, estrarre informazioni da un documento (es. contratto), o assegnare categorie, e correggere errori da una trascrizione voce-testo.
Il modello “Embed” per soluzioni di ricerca
Embed, invece, è un modello AI, fiore all’occhiello di Cohere, per la rappresentazione del linguaggio. L’embedding è una rappresentazione più precisa (rappresentazione di parole come vettori di numeri reali) e utile in problemi di NLP, in grado di racchiudere all’interno la semantica delle parole e le relazioni tra i termini stessi. Questa tecnologia è utilizzabile per potenziare la ricerca semantica e creare classificatori di testo.
Il modello più avanzato di Cohere è Embed v3 che soddisfa le migliori prestazioni dei benchmark MTEB e BEIR.
Il modelli Embed sono particolarmente performanti davanti a dataset affetti da “rumore” (miglioramento degli algoritmi di clustering che rimuovono gli outliers) e per implementare la tecnica RAG (Retrieval Augmented Generation), così da corrispondere in modo più pertinente alla query di un utente. D’altra parte, gli scienziati di Cohere hanno implementato un metodo di compressione che consente di ridurre in modo significativo i costi gestione del database vettoriale.
Embed ha vari modelli che supportano oltre 100 diverse lingue e offrono la possibilità di una ricerca multi-lingue ampliando di continuo le potenziali applicazioni. Più particolarmente, lo scopo della startup canadese è sviluppare soluzioni di ricerca semantica per le aziende, specialmente le multinazionali che possono essere in grado di effettuare ricerche, classificare o analizzare il sentiment in ogni materiale interno (documenti, chiamate di clienti, videochat, email ecc.).
Secondo Cohere, l’accuratezza di Embed v3, relativamente alla qualità della ricerca, è maggiore di quella del modello ada-002 di OpenAI.
Per di più, in base alla valutazione HELM (multimetrica) di Stanford Center for Research on Foundation Models (CRFM), parte di Stanford Institute for Human-Centered AI (HAI), il modello xlarge di Cohere (52 miliardi di parametri) risulta avere performance superiori in termini di accuratezza rispetto a GPT-3, Jurassic-1 Jumbo, e BLOOM.
Conclusioni
L’obiettivo di Cohere è portare i modelli LLM a livello della singola azienda. Lavora a stretto contatto con le imprese per portare le capacità dei suoi prodotti nelle specifiche realtà aziendali. L’approccio è assai diverso da quello di OpenAI, come sottolinea Martin Kon, presidente e COO della startup canadese, ex CFO di Youtube.
“OpenAI – spiega Kon – punta a far sì che i tuoi dati siano portati ai suoi modelli, esclusiva di Azure, mentre Cohere intede fare il contrario: portare i modelli verso i tuoi dati in qualsiasi ambiente si scelga”.
La piattaforma Cohere è cloud-agnostic, nel senso che può essere implementata in cloud pubblici (Google Cloud o AWS), nel cloud del cliente o on-site. L’intenzione è quella di favorire le aziende e collaborare per realizzare LLM personalizzati basati sui loro dati proprietari.
Cohere è stata fondata per creare una piattaforma che permetta di trasformare le aziende sfruttando la tecnologia LLM resa accessibile, cloud-agnostic, personalizzabile e sicura per i dati.
