La realtà aumentata o augmented reality è una visione diretta o indiretta dal vivo di un ambiente fisico reale, i cui elementi sono aumentati dall’input sensoriale generato dal computer come suoni, video, grafica o dati GPS.
Una particolare forma di realtà aumentata è la cosiddetta realtà mista (MR). I dispositivi che la supportano hanno due caratteristiche fondamentali: seguono la definizione classica di realtà aumentata (la realtà è interpolata da un livello virtuale tramite lenti) e inoltre possiedono la capacità di percepire lo spazio circostante.
Cos’è la realtà aumentata
Per chiarire questo ultimo aspetto, consideriamo il seguente esempio.
Si immagini di avere una pallina virtuale e un tavolo reale: in MR la pallina può essere posizionata sul tavolo grazie a sensori a infrarossi e tecniche di elaborazione delle immagini per riconoscere le superfici. Grazie a questa tecnologia si possono applicare alla pallina tutte le leggi fisiche conosciute, come ad esempio farla cadere per terra una volta raggiunto il bordo del tavolo.
 |  |
A sinistra un esempio di AR classica, A destra un esempio di MR realtà mista
Come funziona la realtà aumentata
La peculiarità della realtà aumentata sta nel legare oggetti presenti nella realtà con elementi virtuali. Il problema principale nell’unire digitale e reale riguarda lo SLAM (simultaneous localization and mapping).
Nella geometria computazionale, la localizzazione e mappatura simultanea (SLAM) è il problema computazionale di costruzione o aggiornamento di una mappa di un ambiente sconosciuto, tenendo contemporaneamente traccia della posizione di un agente al suo interno. Possiamo ipotizzare che l’agente in questione sia un robot, un visore di realtà aumentata indossato dall’utente o uno smartphone tenuto in mano.
Esistono diversi algoritmi che risolvono il problema dello SLAM basandosi sulle immagini. Il più semplice di questi usa il riconoscimento di una immagine (marker) che viene utilizzata come centro e punto di partenza. Sugli smartphone questo viene implementato tramite l’analisi delle immagini della fotocamera in combinazione con i dati provenienti da accelerometri e giroscopi.
Nella realtà mista si fa uso di algoritmi più sofisticati per permettere all’agente di muoversi liberamente nello spazio mantenendo un riferimento per gli oggetti virtuali senza marker.
Il Motion tracking consiste nel tracciamento di punti notevoli (feature points) riconosciuti nell’immagine e nell’opportuno accoppiamento dei sensori inerziali che permettono agli oggetti virtuali di rimanere fissi nello spazio anche se l’utente è in movimento.
Questo necessita di una calibrazione precisa tra fotocamera e sensori che va fatta per ogni modello di dispositivo, sia che si tratti di smartphone, sia che si tratti di un visore.
Utilizzando i feature points è inoltre possibile riconoscere superfici come piani e pareti (environmental understanding) su cui possono essere posizionati gli oggetti virtuali. Inoltre grazie al sensore di luminosità dei dispositivi è possibile catturare l’intensità luminosa dell’ambiente (Light estimation) e riprodurla sugli oggetti virtuali per migliorare l’immersione nella realtà.
I feature points sono utili anche per la condivisione della stessa scena in MR tra due dispositivi presenti nello stesso ambiente. Uno dei due dispositivi crea una ancora basata sui feature points rilevati; questa viene condivisa con il secondo dispositivo che, inquadrando la stessa scena con la fotocamera, riconosce l’ambiente e sincronizza il suo spazio virtuale con quello del primo dispositivo.
Un aspetto su cui sono a lavoro gli ingegneri è la risoluzione del problema della occlusion, ossia della percezione della profondità da parte dei dispositivi tramite l’analisi delle immagini. Ad esempio, se un gatto virtuale si trova a camminare attorno ad un vaso reale, gli algoritmi dovrebbero essere in grado di percepire la profondità a cui si trova il vaso e far sparire il gatto mentre percorre il percorso dietro di esso per poi farlo riapparire una volta uscito.
 |  |
A sinistra video senza occlusion, a destra video con occlusion (credits by Niantic).
Nel caso in cui il dispositivo sia dotato di sensori IR a infrarossi e Lidar (quelli montati sulle auto a guida autonoma) è possibile superare il problema della percezione della profondità. Questo permette di effettuare mappature real time in 3D di ambienti reali e posizionare con maggiore precisione gli oggetti virtuali nello spazio reale. Queste tipologie di sensori sono disponibili solo su alcuni dispositivi di fascia alta (es. Microsoft Hololens o Ipad Pro 2020) a causa del loro prezzo elevato che impatta sul costo finale dei prodotti.
Ambiti applicativi della realtà aumentata
La realtà aumentata è già disponibile utilizzando gli smartphone o tramite visori dedicati.
Gli ambiti nei quali viene applicata vanno dal gaming al commercio elettronico fino al campo medico.
Gaming
L’estate del 2016 segna uno dei momenti più importanti per la diffusione al grande pubblico della realtà aumentata grazie all’uscita di Pokemon GO, l’app sviluppata da Niantic che permette di catturare Pikachu e i suoi amici mostriciattoli andando in giro per le strade della città. Dal 2016 ad oggi sono usciti diversi titoli in realtà aumentata tra cui merita di essere citato Father.io, un first person shooter in AR con lasertag della software house italiana Proxy42.
Didattica
La possibilità di rendere la didattica e l’apprendimento più coinvolgenti ed interattivi è insita nella realtà aumentata. L’italiana Marshmallow Games che realizza applicazioni educative per bambini e ragazzi sta integrando esperienze di AR nelle sue app come in Whishey il ragnetto.
Marketing & e-commerce
“Quegli occhiali mi stanno bene?”
“Come starebbe quella libreria nello studio?”
Sono alcune delle tipiche domande che gli utenti si fanno quando guardano i cataloghi online. La realtà aumentata può favorire la propensione all’acquisto.
Houzz, piattaforma online per la progettazione di interni, permette tramite la propria applicazione di provare gli arredamenti direttamente in casa nostra tramite la realtà aumentata.
I video tutorial per il trucco sono molto popolari su Youtube. Tramite la funzionalità AR Beauty Try-On gli utenti possono indossare virtualmente i cosmetici. Il fine è sempre quello di favorire l’acquisto, la prima società a sperimentare questa funzionalità è la MAC.
Molti brand stanno utilizzando i filtri in realtà aumentata di Instagram per promuovere i propri prodotti come ad esempio occhiali da sole che l’utente può provare virtualmente.
Healthcare
La realtà aumentata sta trovando largo uso in ambito sanitario e medicale.
In chirurgia i medici possono indossare visori di realtà aumentata e avere a portata di sguardo i dati clinici per l’intervento, inclusi i modelli 3D derivanti dalle tac effettuate sul paziente. Ne è un esempio il visore Vostars, messo a punto da un team europeo coordinato dall’Università di Pisa, che ha permesso il primo intervento maxillo-facciale in AR al Policlinico Sant’Orsola di Bologna. Anche in telemedicina la realtà aumentata aiuta nelle diagnosi da remoto fornendo nuovi strumenti all’interazione in videochiamata tra medico e paziente.
Militare
In ambito militare ha suscitato scalpore il contratto che Microsoft ha ottenuto per la fornitura di 100mila unità del suo visore di realtà mista Hololens 2 da parte dell’esercito degli Stati Uniti per 480 milioni di dollari.
Intelligenza artificiale e realtà aumentata
Legare gli elementi virtuali a quelli reali è una questione di algoritmi.
In questo l’intelligenza artificiale sta giocando un ruolo sempre più importante per permettere di far vivere agli utenti esperienze immersive.
Ne è un esempio la funzionalità di illuminazione di ARCore, il framework di sviluppo di realtà aumentata di Google. Un algoritmo di machine learning analizza la luce presente nella scena inquadrata dalla fotocamera dello smartphone (ombre, riflessi, luce diffusa, etc…) e riproduce gli stessi effetti luminosi sugli oggetti virtuali presenti per farli percepire più realistici e aderenti all’ambiente.
Nel processamento di immagini è inoltre possibile effettuare l’individuazione ed il riconoscimento di oggetti inquadrati dalla fotocamera. Questo grazie ad algoritmi di machine learning quali R-CNN, Fast R-CNN, Faster R-CNN e YOLO.
Una tecnologia di intelligenza artificiale che ben si sposa con la realtà aumentata è infine quella degli assistenti virtuali, in special modo quelli vocali. Poter chiedere informazioni tramite la voce e vederle in un visore è già realtà.
La realtà aumentata a servizio dell’Industria 4.0
La realtà aumentata sta mutando profondamente il business presente e futuro delle industrie cambiando alcuni paradigmi che venivano ormai assunti come dogmi.
Edilizia e ingegneria
La modellazione e progettazione di componenti nell’industria meccanica ed automobilistica si sta avvalendo della realtà aumentata per permettere la collaborazione tra team dislocati in remoto. Nell’ambito delle costruzioni, già in piena evoluzione tecnologica dovuta all’introduzione del BIM (building information model), gli ingegneri edili e gli architetti possono visualizzare in AR i progetti condivisi e lo stato di avanzamento dei lavori.
Ne è un esempio la startup DAQRI (che però ha dichiarato l’imminente chiusura) che ha sviluppato un visore di realtà aumentata in grado di leggere i modelli BIM contenenti gli attributi tecnici degli edifici.
Addestramento e manutenzione
L’addestramento del personale è da sempre una problematica molto sentita dall’industria manifatturiera. In quello che fino a qualche anno fa sembrava essere prerogativa della realtà virtuale grazie alla ricostruzione in 3D di intere linee di produzione, sta recentemente prendendo piede anche la realtà aumentata.
In particolar modo la possibilità di fare training on the job e accelerare la curva di apprendimento sta convincendo sempre più aziende nell’adozione della realtà aumentata.
I visori di AR permettono di avere le mani libere e poter accedere alle informazioni necessarie senza perdere il focus di quello che si sta facendo. Contenuti come frecce, modelli 3D, schematici e manualistica possono essere visualizzati come ologrammi nel campo visivo dell’operatore direttamente sul macchinario o sulla postazione della linea di produzione.
Immagine catturata da visore Hololens durante una assistenza da remoto in AR
Altra applicazione industriale è quella in ambito manutentivo.
Un esperto può guidare un operatore da remoto tramite una videochiamata assistita da ologrammi come frecce e disegni a mano libera. Le società di manutenzione possono evitare di mandare i propri esperti dai clienti, riducendo i costi di trasferta dell’assistenza ed i tempi di fermo macchina. Questa possibilità è cruciale quando diventa complesso raggiungere l’impianto del cliente a causa della distanza (es. azienda che esporta in tutto il mondo) o a situazioni che impediscono gli spostamenti (es. disastri naturali).
Lo stesso principio è applicabile per i collaudi da remoto. È in questo ambito che lavorano applicazioni come Dynamics 365 di Microsoft, e prodotti come Scotty.
Come la realtà aumentata cambierà il nostro modo di vivere e lavorare
Siamo agli albori dell’immersive computing.
La realtà aumentata sta entrando nel nostro quotidiano di oggi e domani.
Il 5G permetterà di avere anche in mobilità tutta la banda necessaria e garantirà latenze minime per usufruire di videochiamate in realtà aumentata e dare da remoto comandi in tempo reale a macchinari complessi.
Sarà possibile viaggiare di meno per lavoro e i cantieri e gli impianti saranno più sicuri perché gli operatori saranno supportati dagli assistenti virtuali integrati nei caschi di realtà aumentata.
Cambierà il modo di collaborare e progettare, sarà sempre più facile l’interazione tra team in remoto perché tramite la realtà aumentata sarà come essere tutti nella stessa stanza.
Cambierà il modo di acquistare prodotti e beni di consumo, con una riduzione dei negozi fisici. Perché andare a visionare un mobile in uno showroom se è possibile vedere il suo modello 3D in scala 1:1 nel salotto e configurarlo del colore preferito con un tap sullo smartphone?
In ambito automotive il parabrezza dei veicoli diventerà uno schermo di realtà aumentata in grado di fornire le informazioni necessarie per rendere più sicura la guida.
La modalità di navigazione in AR di Google Maps sta cambiando il modo in cui ci spostiamo. L’impegno di Niantic a scansionare il mondo in 3D e la recente acquisizione da parte di Facebook di Scape.io (società che permette di geolocalizzarti in base alla computer vision) sono i primi tasselli di un nuovo modo di interagire in realtà aumentata con il mondo.
Molto presto digitale e reale non saranno più una dicotomia.
