Computer Vision e fitness: quando l’allenamento diventa hi-tech

Nuove strade per innovare il modo in cui le persone fanno fitness: grazie alla Computer Vision, l'allenamento diventa high-tech.

Ecco come le nuove tecnologie rivoluzionano interi settori.

Fitness e tecnologia: binomio perfetto

Il settore del fitness ha registrato una forte crescita negli ultimi anni con una buona fetta della popolazione che mai rinuncerebbe alle proprie sessioni di allenamento a settimana. Lo sviluppo di questo mercato è stato accompagnato da un aumento dei servizi offerti dalle palestre e dalle associazioni sportive, con sistemi per pianificare e gestire le attività sportive sempre più tech e costruiti attorno agli utilizzatori.

Il boom dei dispositivi wearable ha sicuramente dato impulso a piani di allenamento, o comunque di attività fisica, concepiti attorno alle esigenze di ciascuna persona e ne favoriscono il follow-up da parte di preparatori e allenatori.

Il connubio fitness e tecnologia era già un fenomeno in via di consolidamento che, a causa del Covid-19, ha subito un’ulteriore crescita. Infatti molte palestre e associazioni hanno promosso corsi online, in live streaming o tramite videoregistrazioni, supportati da tool tipicamente usati per le videoconferenze.

Ma è possibile monitorare da remoto la corretta esecuzione degli esercizi? In che modo e con che grado di precisione? E soprattutto, le persone sono disposte a farsi guidare da un software?

Indagare le opportunità tecnologiche e di mercato

Il settore dimostra di essere in crescita e di abbracciare le nuove tecnologie, ma come possiamo trovare nuove strade per innovare la maniera in cui le persone svolgono attività fisica? Ci siamo posti alcune domande relative a coloro che sono arbitri del successo o meno di un’innovazione di prodotto: gli utilizzatori finali.

1. Un utente che si allena da casa, è interessato a ricevere feedback live da un’intelligenza artificiale durante la sessione di allenamento?
2. È realistico pensare che le persone facciano sessioni di allenamento ripresi da una videocamera (smartphone o webcam)?
3. Qual è il modo migliore di dare feedback ad un utente sulla propria postura durante l’allenamento?

Andavano trovate risposte attendibili a questi quesiti per iniziare poi a progettare una soluzione tecnologica realmente utile e accettata dai più.

Parallelamente abbiamo condotto una ricerca di mercato sulle soluzioni attualmente in uso, evidenziandone punti di forza e di debolezza.

 

Youtube, DownDog, Nike training, Fitplan, Keep, Adidas Training Runtastic, Freeletics, Fixfit, e Instagram sono diventate durante il Lockdown le piattaforme di riferimento per gli allenamenti a casa. In particolare, Cyberobics, ha subito un considerevole aumento di utilizzatori durante il lockdown.

Cyberobics a gennaio 2020 era poco conosciuta, ma in 2-3 mesi di lockdown è diventata tra le dieci app fitness più scaricate nel mondo, scaricata da due milioni di persone nel mondo e utilizzata giornalmente da 300.000 persone.

Questo fenomeno ci ha convinti che la nicchia di mercato è grande a sufficienza per fare esperimenti e che l’eventuale soluzione tecnologica dovrebbe essere multi-piattaforma, ovvero dovrebbe integrarsi a tutti gli strumenti sopra elencati.

Arriva il prototipo per validare le nostre ipotesi

Abbiamo progettato e realizzato un prototipo che permettesse ai personal trainer di dare feedback all’utente mentre eseguiva i propri allenamenti preferiti: quelli positivi a sinistra (per premiare l’esecuzione corretta) e quelli correttivi a destra (per indicare la parte del corpo da correggere). Entrambi sono accompagnati da un suono per catturare l’attenzione dell’utente.

 

I primi test hanno evidenziato l’apprezzamento delle dinamiche di gamification, aggiunte quindi in alto a sinistra. Queste dinamiche si sono rivelate tutt’altro che marginali: ad oggi manca infatti una soluzione che rilevi e quantifichi i miglioramenti nelle abilità motorie dell’utente nell’esecuzione di determinati esercizi.

La progettazione si fa in 5

Per progettare lo strumento digitale più idoneo a rispondere ai bisogni degli utilizzatori abbiamo utilizzato ancora una volta i principi del Design Thinking. Il team ha svolto una serie di attività:

1. Brief question: in 5 minuti il team doveva scrivere in alcuni post-it tutti i dubbi di comprensione del Brief stesso. Successivamente sono state raggruppate le domande associate a tematiche simili, e quindi è stata fornita una risposta da chi ha steso il Brief;
2. How Might We (HMW), questo esercizio permette di mettere in risalto gli aspetti sfidanti del progetto e di orientarsi verso delle soluzioni. Al team vengono quindi poste quattro principali domande, le domande vengono formulate nel seguente modo “Come potremmo”.
   • Come potremmo capire se il target è interessato a ricevere feedback live da un’intelligenza artificiale?
   • Come potremmo far allenare le persone a casa propria?
   • Come possiamo dare all’utente dei feedback circa la correttezza dell’esercizio?
   • Come possiamo valutare se l’utente sta eseguendo gli esercizi in modo corretto?

   Il team aveva otto minuti per individuare delle risposte e quindi delle possibili soluzioni per ogni HMW. Le risposte sono state presentate a voce da ogni componente del team; quindi sono state votate le 4 soluzioni (una per ogni HMW) più indicate;

3. Sketch, che ha permesso al team di approfondire la soluzione indicata per ogni HMW. Ogni componente aveva 12 minuti per disegnare gli sketch delle quattro soluzioni. Al termine, ogni Sketch è stato spiegato e votato, selezionando poi i quattro più indicati per ogni HMW;
4. User Journey, i componenti del team avevano 12 minuti di tempo per definire in cinque step l’interazione tra l’utente target e l’idea selezionata, raggiungendo quindi lo User goal definito precedentemente. Ogni componente ha realizzato quattro User Journey, una per ogni HMW;
5. Define the Task, le quattro user story più votate (una per ogni HMW) sono state tradotte in task da realizzare e assegnate ai membri del team, ordinate per priorità di esecuzione. Il team è quindi pronto per partire con la progettazione e lo sviluppo del prototipo.

Il processo descritto sopra ci ha consentito di creare una serie di prototipi con cui ci siamo presentati velocemente sul mercato per raccogliere feedback.

I risultati delle sessioni di test sono stati organizzati in schede riassuntive, da queste abbiamo definito un’esperienza utente basata sull’analisi delle loro reali necessità. Sono state quindi identificate le tipologie di feedback più adatte:

• Feedback uditivo: permette all’utente di capire se l’esercizio svolto fosse corretto o meno. Un feedback uditivo richiama immediatamente l’attenzione dell’utente, senza richiedere particolare concentrazione.
• Feedback visivo – 1: permette all’utente di capire la parte del corpo da correggere, in caso di esercizio svolto non correttamente.
• Feedback visivo – 2: un punteggio permette all’utente di monitorare l’andamento complessivo dell’esercizio. Nello specifico, il team di design ha deciso di strutturare una logica di gamification, per motivare ulteriormente l’utente.

Su questa base di conoscenza il team Design ha progettato la User Interface che meglio rispondeva alle esigenze dei consumatori.

Dal design all’infrastruttura tecnologica: le scelte degli sviluppatori

Per ottenere un risultato funzionante in poco tempo che consentisse di implementare la UI messa a punto dai designer, i nostri dev hanno deciso di sviluppare una semplice applicazione WebGL utilizzando Unity.

Lo strumento che immaginavamo nelle nostre menti assomigliava molto ad una videoconferenza perciò siamo partiti da questo presupposto ed abbiamo esplorato i vari tool per identificarne efficienza e facilità di gestione. La scelta è ricaduta su piattaforme come Google Meet e Zoom, con schermo condiviso con l’applicazione WebGL. In questo modo l’utente riesce a visualizzare il virtual trainer, mentre un operatore o un personal trainer riceve il feed dalla sua webcam. Inoltre Google Meet è multipiattaforma e, condividendo una tab di Chrome, non riscontravamo problemi di latenza.

Il primo passo è stato quello di mostrare il filmato del training a schermo intero con la comparsa di icone quando il personal trainer ritiene necessario.

Il feedback del personal trainer veniva dato da tastiera, in modo tale da lasciare la schermata libera. In questa fase sono anche stati selezionati due effetti audio relativi ai feedback positivi e di warning.

Nella fase successiva, abbiamo inserito un controllo maggiormente user-friendly per il personal trainer. Abbiamo quindi applicato tecniche multiplayer alla build di Unity:

• Build WebGL build mostrata lato utente. A schermo intero l’utente poteva seguire il filmato di training e veder comparire i feedback segnalati dal personal trainer;
• Build Locale utilizzata lato personal trainer. Il Personal trainer, grazie ad una semplice User Interface, controllava l’andamento dell’allenamento video e mandava dei feedback all’utente.

Attraverso questo prototipo, dopo aver impostato una chiamata su Google Meet con l’utente, era possibile lanciare la build WebGL e quella Locale e condividere poi la schermata della prima, far connettere l’utente a far partire la sessione.

La terza fase di costruzione di un prototipo sempre più vicino ad un prodotto finito consisteva nell’abbandonare Google Meet o Zoom e passare ad una landing page dove l’utente potesse visualizzare la schermata della build WebGL.

L’obiettivo era quindi caricare su di una pagina web la build WebGL con versioni diverse a seconda dell’utilizzatore: la versione del trainer faceva a tutti gli effetti da server, gestendo tutti gli eventi come lo start del filmato e l’invio di feedback, mentre la versione dell’utente faceva da client, ricevendo dal server soltanto i segnali per riprodurre in locale quello che vede il trainer.

Uno sviluppo a più fasi con miglioramenti incrementali ci ha portato sempre più vicini ad un prodotto pronto ad essere lanciato sul mercato.

Rimanevano da risolvere alcuni aspetti legati ai framework utilizzati. Infatti la quantità di dati scambiata durante l’allenamento è elevata e WebGL e le Multiplayer High Level API di Unity impongono dei limiti a questo scambio. Un’ulteriore sfida per i nostri developer!

Cosa abbiamo imparato? Tra validazione di mercato e opportunità di business

Attraverso le tecniche tipiche del Growth Hacking abbiamo condotto la ricerca sui bisogni del nostro target di riferimento e le scoperte che abbiamo fatto si sono rivelate davvero interessanti. Su questa base di conoscenza poggia lo sviluppo futuro di questo prodotto digitale.

1. Un utente che si allena da casa, è interessato a ricevere feedback live da un’intelligenza artificiale durante la sessione di allenamento? Tra le persone che già utilizzano applicazioni e video per il fitness: il 71% reputa il feedback ricevuto dal prototipo un elemento valido o fondamentale, il 63% si è dichiarato interessato a partecipare ad una sessione di allenamento con un’intelligenza artificiale in grado di dare il feedback, il 100% di chi ha provato il nostro prototipo ha dichiarato che ripeterebbe l’esperienza;
2. È realistico pensare che le persone facciano sessioni di allenamento ripresi da una videocamera (smartphone o webcam)? Dall’osservazione delle sessioni di test emerge che non vi siano stati particolari difficoltà nell’uso di questi supporti, nemmeno nel configurare i dispositivi per una corretta inquadratura propedeutica al sistema di feedback.
3. Qual è il modo migliore di dare feedback ad un utente sulla propria postura durante l’allenamento? Mentre il 20% del campione non sente il bisogno di ricevere un feedback tramite indicazione vocale, il 79% ritiene l’audio utile o fondamentale. Per quanto riguarda il feedback video, tutti lo trovano utile o fondamentale: Il 77% si è dichiarato soddisfatto del feedback video, ritiene che abbia influito positivamente sull’esperienza complessiva ed è riuscito a correggere il movimento dopo averlo ricevuto, il 100% ha altresì indicato che avrebbe gradito ricevere un feedback vocale che spiegasse nel dettaglio le correzioni da effettuare (non presente nel nostro prototipo, valuteremo quindi di aggiungerlo).
4. La sorpresa gamification. Il processo di design&research ha fatto emergere una vantaggio competitivo chiave di una eventuale soluzione di ‘Virtual Training’: il fatto di poter dare un punteggio all’esecuzione di un esercizio motiva e coinvolge notevolmente l’utente. Nessuna app attualmente offre questa dinamica ai propri utenti, proprio perché al momento non sono in grado di valutarne l’esecuzione dei movimenti.

In Italia durante il lockdown il 28% delle palestre ha iniziato a proporre corsi online su diverse piattaforme e questa nuova attività ha generato un incremento del numero di clienti fino al 91% rispetto a quelli acquisiti nella prima fase dell’emergenza, quando molte strutture erano ancora aperte. Solo nel primo mese dell’emergenza, l’offerta digitale di sessioni di allenamento di gruppo o individuali è raddoppiata (+101%). Questi numeri ci danno la misura di un cambiamento in atto, sta a noi farci trovare pronti.

Il business sta evolvendo a ritmi mai osservati prima e le aziende stanno esplorando nuove tecnologie per far fronte al cambiamento, come nel caso di Tecnolaser e SiPrenota.

 

Ti interessano gli insight di questi progetti? Li condividiamo con gli iscritti al nostro Exploratorium, scopri di più su questo laboratorio di sperimentazione cliccando qui 👉 https://exploratorium.uqido.com/

COS’E’ EXPLORATORIUM

Exploratorium è il laboratorio di Uqido dove ogni settimana progettiamo, sviluppiamo e lanciamo sul mercato un nuovo prodotto digitale.

Il nostro MVP Lab composto da sviluppatori, designer e marketing strategist, provenienti da realtà come IDEO, YCombinator, Sony e M31, realizza e lancia ogni settimana un nuovo prototipo e, attraverso tecniche di Growth Hacking, metodologie Lean e Design Sprint, raccoglie i feedback del mercato.

New ways to innovate how people do fitness: the training becomes high-tech thanks to the Computer Vision.

Here’s how new technologies revolutionize entire sectors.

Fitness and technology: perfect combination

The fitness sector has experienced a strong growth in recent years with a good portion of the population who would never give up their weekly training sessions. The development of this market has been accompanied by an increase of the services offered by gyms and sport associations, with systems to plan and manage increasingly tech sport activities built around users.

The boom in wearable devices has certainly boosted training plans, or in any case physical activity, conceived around the needs of each person and favoring their follow-up by trainers and coaches.

The combination of fitness and technology was already a phenomenon being consolidated which, due to Covid-19, has undergone further growth. In fact, many gyms and associations have promoted online courses, in live streaming or through video recordings, supported by tools typically used for videoconferencing.

But is it possible to monitor from remote the correct executions of the exercises? In which way and how precisely? And above all, are people willing to be guided by a software?

 

Investigate technological and market opportunities

The industry proves to be growing and embracing new technologies, but how can we find new ways to innovate the way people do physical activity? We asked ourselves some questions relating to those who are arbiters of the success or otherwise of a product innovation: the final users.

1. Is a user that trains from home interested in receiving live feedback from an artificial intelligence during the training session?
2. Is it realistic to think that people would do training sessions taken by a video camera (smartphone or webcam)?
3. What’s the best way to give a feedback to the user on their posture during training?

Reliable answers had to be found in order to start designing a really useful and accepted technological solution.

In parallel, we conducted a market research aon the solutions currently in use, highlighting their strengths and weaknesses.

During the lockdown, Youtube, DownDog, Nike Training, Fitplan, Keep, Adidas Training Runtastic, Freeletics, Fixfit and Instagram became the reference platforms for training at home. In particular, Cyberobics has undergone a considerable increase in users during the lockdown.

In January 2020, Cyberobics was little known, but in the 2-3 months of lockdown it became one among the ten most downloaded fitness apps in the world. It has been downloaded by 2 million people in the world and used daily by 300.000 people.

This phenomenon convinced us that the market niche is large enough to carry out experiments and that any technological solution should be multi-platform, i.e. it should integrate with all the tools listed above.

 

The prototype arrives to validate our hypotheses

We designed and built a prototype that allowed personal trainers to give feedback to the user while performing their favorite workouts: the positive ones on the left (to reward the correct execution) and the corrective ones on the right (to indicate the part of the body to be corrected). Both are accompanied by a sound to catch the user’s attention.

The first tests highlighted the appreciation of the gamification dynamics, therefore added at the top left. These dynamics have proven to be anything but marginal: to date, there isn’t a solution that detects and quantifies the improvements in the user’s motor skills in performing certain exercises during the execution of specific exercises.

 

The planning is done in 5

To design the most suitable digital tool to meet users’ needs, we once again used the principles of Design Thinking. The team carried out a series of activities:

1. Brief Question: in 5 minutes the team had to write on post-it notes their questions or doubts associated with each brief. Subsequently, questions related to similar issues were grouped together, and then an answer was given by the person who drafted that brief.
2. How Might We: this exercise allowed us to highlight the challenging aspects of the project and move towards solutions. The team was then asked four main questions, the questions are formulated as follows with “How might we”:
   • How might we understand if the target audience is interested in receiving live feedback from artificial intelligence?
   • How might we get people to train at home?
   • How might we give user feedback on a specific exercise?
   • How might we assess whether the user needs to perform the exercises correctly?

The team had 8 minutes to find answers and then possible solutions for each HMW. The answers were presented verbally by each team member; then the 4 most suitable solutions (one for each HMW) went to a vote.

3. Sketch: this exercise allowed the team to explore the solution indicated for each HMW, focusing mainly on its content. Each part was given 12 minutes to complete the sketches of the four solutions. At the end, each Sketch was explained, the four most suitable sketches for each HMW went to a vote and the best selected.
4. User Journey: the team members had 12 minutes to define in 5 steps the interaction between the target user and the selected idea, thus reaching the User goal defined in advance. Each part has made four User Journeys, one for each HMW.
5. Define the Task: the four most voted user stories (one for each HMW) has been translated into tasks to achieve the goal and assigned to members of the team, sorted by priority of execution. The team is then ready to start with the design and development of the prototype.

The process described above allowed us to create a series of prototypes with which we quickly presented ourselves on the market to collect a feedback.

The results of the test sessions were organized in a summary sheet, which was fundamental for defining user experience based on the analysis of their needs.

The types of feedback that best responded to users’ needs were then identified:

• Auditory feedback: this allows the user to understand whether the exercise was correct or not. Auditory feedback immediately draws the user’s attention, without requiring particular concentration.
• Visual feedback – 1: this allows the user to understand the part of the body in question (in need of correction), if the exercise was performed incorrectly.
• Visual feedback – 2: a score allows the user to monitor the overall progress of the exercise. Specifically, the design team decided to structure a gamification logic to further motivate the user.

With all these elements, the Design team defined the User Interface (UI) that best met the needs of consumers.

 

From design to technological infrastructure: the choices of the developers

To get a working result in a short time that would allow us to implement the UI proposed by the design team, our developers have decided to develop a simple WebGL application using Unity.

The tool we imagined in our minds looked a lot like a video conference, so we started from this The choice fell on platforms such as Google Meet and Zoom, with a screen shared with the WebGL application. This would enable the user to view the virtual trainer, while an operator or personal trainer receives the feed from his webcam. In addition, Google Meet is cross-platform and, by sharing a Chrome tab, we were able to avoid any technical problems.

The first step has been to show the training film on a full screen, showing icons when the personal trainer deemed it necessary.

The personal trainer would give his feedback from the keyboard, so that the screen was left free. In this step two audio effects were selected, related to positive and negative feedback.

The next step, we had to insert a control that was more user friendly for the personal trainer. To do this we applied some multiplayer techniques to the Unity build:

• WebGL build: this was shown on the user side. On a full screen the user could follow the training video and see the feedback reported by the personal trainer.
• Local build: this was used on the personal trainer side. Thanks to a simple User Interface, the personal trainer, could control the progress of the training video and send feedback to the user.

With this prototype, after setting up a call on Google Meet with the user, it was possible to launch the WebGL build and the Local build, share the screen of the first one and, as soon as the user is connected, start the session.

The third phase of construction of a prototype that would be near to a finished product consisted in abandoning Google Meet or Zoom and to create a landing page where the user could see the WebGL build screen.

Therefore, the goal was to upload the WebGL build to a web page, which can behave differently depending on who is using it. The trainer version would act as the actual server, managing all events such as the video start and feedback, while the user’s version would be the client, receiving only the signals needed to reproduce locally what the trainer sees from the server.

A development with more phases with incremental — had led us even more near to a product ready to be launched on the market.

There were only some aspects to solve, related to the frameworks used. In fact, the amount of data sent during the workout session was high and WebGL and Unity’s High-Level Multiplayer API impose limits on the amount of data you can send and receive. Another challenge for our developers!

 

What did we learn? Between market validation and business opportunities

Through the typical techniques of Growth Hacking we conducted a research on the needs of our target audience and the discoveries we made proved to be really interesting. The future development of this digital product is based on this knowledge base.

1. Is a user who trains from home interested in receiving a live feedback from an artificial intelligence during the training session? Among the people who already use fitness applications and videos: 71% consider the feedback received from the prototype to be a valid or fundamental element, 63% said they were interested in participating in a training session with an artificial intelligence capable of give a feedback, 100% of those who tested our prototype said they would repeat the experience;
2. Is it realistic to think that people would do training sessions taken by a video camera (smartphone or webcam)? From the observation of the test sessions it emerges that there have been no particular difficulties in the use of these supports, not even in configuring the devices for a correct framing preparatory to the feedback system.
3. What’s the best way to give a feedback to a user on their posture during training? While 20% of the sample doesn’t feel the need to receive a feedback via voice indication, 79% believe the audio is useful or essential. As for the video feedback, everybody finds it useful or fundamental: 77% said they were satisfied with the video feedback, believed that it positively influenced to the overall experience and managed to correct the movement after receiving it, 100% also have indicated that he would have liked to receive voice feedback explaining in detail the corrections to be made (not present in our prototype, we will therefore consider adding it).
4. The surprise gamification. The process of design & research process revealed a key competitive advantage of a possible “Virtual Training” solution: the fact of being able to give a score to the execution of an exercise motivates and greatly involves the user. No app currently offers this dynamic to its users, precisely because at this moment they’re unable to evaluate the execution of the movements.

In Italy, during the lockdown, 28% of gyms started offering online courses on different platforms and this new activity generated an increase in the number of costumers up to 91% compared to those acquired in the first phase of the emergency, when many structures where still open. Only in the first month of the emergency, the digital offer of individual or group workout sessions doubled (+101%). These numbers give us the measure of a change taking place, it’s up to us to find ourselves ready.

Business is evolving at rates never seen before and companies are exploring new technologies to cope with change, as in the case of Tecnolaser and SiPrenota.

 

Are you interested in these projects’ insights? We share them with the subscribers to our Exploratorium, find out more about this experimental lab clicking here 👉 https://exploratorium.uqido.com/

WHAT’S EXPLORATORIUM

Exploratorium is Uqido’s laboratory where every week we project, develop and launch on the market a new digital product.

Made of developers, designers and marketing strategists coming from places like IDEO, YCombinator, Sony and M31, our MVP Lab creates and launch every week a new prototype and, with techniques of Growth Hacking, Lean methodologies and Design Sprint, it collects the feedbacks of the market.