Cardiology AR

Il processo cognitivo, ovvero il processo di acquisizione di conoscenze e comprensione, nell’essere umano avviene attraverso il pensiero, i sensi e l’esperienza.

Fino al 60% di questo processo dipende dal senso della vista e dell’udito, il restante 40% è attribuito all’applicazione pratica o astratta di quanto memorizzato.

Uno studio effettuato dal laboratorio nazionale per la formazione negli Stati Uniti afferma che i tassi di ritenzione mnestica (ovvero la capacità di ricordare ciò di cui si ha avuto esperienza) crescono fino ad un tasso del 75% nel caso dell’utilizzo della realtà aumentata all’interno del processo educativo. 

Se, a quanto sopra, aggiungiamo che la formazione specialistica in campo medico comporta rischi per l’incolumità di studenti e docenti e che il reperimento di materiale organico e luoghi dove studiarlo rappresenta un costo considerevole, subito si evincono le potenzialità della realtà aumentata nel favorire un apprendimento efficace e sostenibile.

Con la collaborazione del Prof. Vladimiro Vida, Direttore dell UOC di Cardiochirurgia Pediatrica e delle Cardiopatie Congenite e con lo studente di Medicina Francesco Bertelli, abbiamo analizzato il consueto percorso di apprendimento e gli strumenti comunemente utilizzati. La soluzione adottata fino a questo momento è stata la stampa 3D di organi del corpo umano realizzati da un software che sfrutta scansioni ottenute per mezzo di  TAC, ECO e risonanza magnetica. Questi modelli 3D permettono agli studenti di toccare con mano, vedere e sezionare organi alla stregua di quelli reali.

La necessità era quindi ottenere modelli quanto più fedeli ad organi reali completamente analizzabili e sezionabili come se fossero tra le mani di uno studente. Era quindi vitale non solo il modello 3D ma anche concepire modalità interazione con esso, il tutto all’interno di una complessa varietà di cuori con diverse forme e diverse patologie.

Cosa può offrire la realtà aumentata in più rispetto ad un modello stampato in 3D o addirittura ad un organo reale?

L’impatto positivo, come detto in precedenza, riguarda la riduzione di rischi e costi, ma questa tecnologia consente inoltre di avere un’enorme quantità di materiale, modelli e informazioni all’interno di un semplice smartphone. Non è necessario realizzare, trasportare e  immagazzinare oggetti fisici, inoltre durante l’analisi possono essere chieste maggiori informazioni al sistema che, attraverso un attento studio della UI, le fa comparire sui modelli virtuali.

E’ stata effettuata a monte un’accurata analisi della tecnologia più adatta per realizzare in primis l’app mobile in grado di ospitare i modelli 3D e le relative informazioni e, successivamente, i cuori in realtà aumentata.

Un primo MVP ci ha permesso di sottoporre all’Università di Padova i frutti del nostro studio relativo alle interfacce, il flusso di navigazione e la resa degli asset digitali che sono stati poi avallati e hanno costituito la base per lo sviluppo di un’app completa e strutturata.

Sono state concepite perciò tutte le schermate che consentono agli utenti di accedere alle molteplici funzionalità attraverso un menù in grado di gestire una grande mole di informazioni in maniera molto intuitiva.

Parallelamente sono stati ottimizzati per una fruizione in real-time i modelli 3D delle cavità degli organi, partendo da asset già in possesso dell’Università di Padova e conferendo loro un aspetto fotorealistico grazie all’applicazione di texture in altissima qualità ottenute con la tecnica della fotogrammetria. 

I cuori in realtà aumentata possono quindi essere sezionati e arricchiti con informazioni in sovraimpressione per fornire un’esperienza completa agli studenti che non pregiudichi la qualità dell’insegnamento. Inoltre, per mantenere familiarità con la normale didattica, il sezionamento virtuale dei modelli ricalca quello effettuato durante l’analisi ecocardiografica: Parasternale asse lungo (PLAX, Parasternale asse corto (PSSAX) e Apicale 4 camere (A4C).

Modelli così realizzati consentono un puntuale analisi morfologica e funzionale dell’organo e di ciascuna delle sue parti

Per l’evidenziazione con colore delle aree del cuore con difetti, è stato necessario creare le Mappe UV, non presenti nelle scansioni. In questo modo è stato possibile eseguire il painting direttamente in 3D, rendendolo intuitivo e semplice da eseguire. Le Mappe UV hanno permesso inoltre di distribuire in modo efficace e corretto le texture sui modelli 3D.

Il team di sviluppo ha dovuto gestire molti modelli in poco tempo e quindi è stato utilizzato UV unwrapper di ultimissima generazione, che riduce il lavoro manuale accorciando di fatto i tempi di sviluppo.

Inoltre, è stato scelto di utilizzare un solo set di texture per tutti i cuori, così da rendere l’applicazione mobile leggera ed ottimizzata (meno di 60MB) pur mantenendo la risoluzione in 4K.

Un’ulteriore sfida è stata quella di arricchire i modelli 3D, sia fruiti attraverso visualizzatore 3D sia visualizzati in realtà aumentata, con informazioni in forma scritta. Questo testo doveva comparire in maniera meno invasiva possibile ma, allo stesso tempo, doveva essere facilmente leggibile.

Il frutto di tutto ciò è un’esperienza utente non-lineare: ciascuno studente può interagire in maniera diversa sui diversi modelli e relative sezioni, non un percorso obbligato e comune a tutti ma esperienze diverse adatte alle necessità di tutti gli utilizzatori. Una formazione per certi versi personalizzata e, perciò, più efficace pur non aumentando a dismisura i costi.

L’output è quindi un’app mobile per i sistemi operativi iOS e Android che sfruttano rispettivamente ARKit e ARCore per la visualizzazione in tempo reale di modelli 3D nell’ambiente che ci circonda. E’ stata altresì prevista semplice visualizzazione 3D per i device più datati non in grado di supportare la realtà aumentata.

I prossimi sviluppi prevedono la possibilità di utilizzare la tecnologia WebAR per fruire dei modelli senza la necessità di scaricare un’app, abbattendo un ulteriore freno all’utilizzo.

La realtà aumentata, come le altre tecnologie immersive, ha un forte potere evocativo che permette agli utilizzatori di provare esperienze coinvolgenti e totalizzanti, come nel caso di Nice Spa e Phasys VR.

Nel settore della formazione questo genere di contenuti consentono di ottenere una maggiore efficacia nell’apprendimento grazie ad esperienze del tutto paragonabili a quelle  reali vissute attraverso i normali strumenti per la didattica.

Questa efficacia incontro poi l’efficienza: asset virtuali che possono essere analizzati e manipolati ovunque e in qualsiasi momento abbattono drasticamente i costi di reperimento e smaltimento di organi reali, di utilizzo di luoghi appositamente allestiti e di equipaggiamenti per ciascuno studente. 

Siamo quindi davanti ad un’importante evoluzione nel mondo della formazione specialistica ottenuta grazie alle potenzialità di una tecnologia, la realtà aumentata, già ampiamente diffusa e con la quale è facile interagire: basta un semplicissimo smartphone per posizionare oggetti virtuali nell’ambiente che ci circonda e interagirvi con semplici tap sullo schermo. 

L’Università di Padova, prossima agli 800 anni di storia, ha abbracciato questa nuova tecnologia per migliorare la didattica dei propri dottorandi in medicina, testimoniando come la tecnologia davvero utile è quella che offre un reale beneficio e si inserisce in maniera fluida all’interno di processi messi a punto in anni e anni di lavoro.