V60 Meta Firmware

Gli sviluppatori di Quest 3 possono ora integrare tre nuove importanti funzionalità per migliorare la realtà virtuale e mista.

Inside-Out Body Tracking (IOBT) e Generative Legs sono state annunciate insieme a Quest 3, in arrivo a dicembre. L'occlusione per la realtà mista tramite l'API Depth era in precedenza una funzione sperimentale, il che significava che gli sviluppatori potevano testarla ma non potevano distribuirla nelle build di Quest Store o App Lab.

Tutte e tre le funzionalità sono disponibili nell'SDK v60 per Unity e nel codice nativo. Nel frattempo, l'integrazione di v60 Unreal Engine include Depth API, ma non IOBT o Generative Legs.

L'Inside-Out Body Tracking (IOBT) utilizza le telecamere laterali di Quest 3, rivolte verso il basso, per tracciare i polsi, i gomiti, le spalle e il busto utilizzando algoritmi avanzati di visione computerizzata.

L'IOBT evita i problemi legati alle stime della cinematica inversa (IK) delle braccia, che spesso non sono corrette e danno una sensazione di disagio perché il sistema si limita a tirare a indovinare la posizione della testa e delle mani. Quando gli sviluppatori integrano IOBT, vedrete le braccia e il toro nelle loro posizioni reali, non in una stima.

Il tracciamento della parte superiore del corpo consente inoltre agli sviluppatori di ancorare la locomozione del thumbstick alla direzione del corpo, non solo alla testa o alle mani, e di eseguire nuove azioni come sporgersi da una sporgenza e far sì che ciò venga mostrato in modo realistico sul proprio avatar.

L'IOBT funziona solo per la parte superiore del corpo. Per la parte inferiore del corpo, Meta ha lanciato Generative Legs.

Generative Legs utilizza un modello AI "all'avanguardia" per stimare la posizione delle gambe, una tecnologia che l'azienda sta studiando da anni.

Su Quest 3, Generative Legs fornisce una stima più realistica rispetto alle cuffie precedenti, grazie all'utilizzo del tracciamento della parte superiore del corpo come input, ma funziona anche su Quest Pro e Quest 2 utilizzando solo testa e mani.

Il sistema Generative Legs, tuttavia, è solo una stima, non un tracciamento, quindi, pur essendo in grado di rilevare i salti e gli accovacciamenti, non rileva molti movimenti reali come il sollevamento delle ginocchia.

Insieme, il tracciamento della parte superiore del corpo dall'interno verso l'esterno e il sistema Generative Legs consentono di realizzare corpi completi plausibili in VR, chiamati Full Body Synthesis, senza l'ausilio di alcun corpo esterno.

Meta ha precedentemente annunciato che Full Body Synthesis arriverà in Supernatural, Swordsman VR e Drunken Bar Fight.

Nella nostra recensione di Quest 3 abbiamo criticato aspramente la mancanza di occlusione dinamica della realtà mista. Sebbene gli oggetti virtuali possano apparire dietro la grezza maglia della scena generata dalla scansione dell'ambiente, essi vengono sempre visualizzati davanti agli oggetti in movimento, come le braccia e le altre persone, anche se più distanti, con un effetto stridente e innaturale.

Gli sviluppatori potevano già implementare l'occlusione dinamica per le mani utilizzando la mesh Hand Tracking, ma pochi l'hanno fatto perché questa si interrompe al polso e il resto del braccio non è incluso.

La nuova API Depth fornisce agli sviluppatori una mappa di profondità grossolana per ogni fotogramma, generata dall'headset dal suo punto di vista. Questa può essere utilizzata per implementare l'occlusione, sia per gli oggetti in movimento che per i dettagli più fini degli oggetti statici, che potrebbero non essere stati catturati nella mesh della scena.

L'occlusione dinamica dovrebbe rendere la realtà mista di Quest 3 più naturale. Tuttavia, la risoluzione del rilevamento della profondità dell'auricolare è molto bassa, quindi non riuscirà a rilevare dettagli come gli spazi tra le dita e si vedrà uno spazio vuoto intorno ai bordi degli oggetti.

Inoltre, si suggerisce di sfruttare la mappa di profondità solo fino a 4 metri, dopodiché "la precisione diminuisce significativamente", quindi gli sviluppatori potrebbero voler utilizzare anche la Scene Mesh per l'occlusione statica.

Gli sviluppatori possono implementare l'occlusione in due modi: Hard e Soft. Hard è essenzialmente gratuito ma presenta bordi frastagliati, mentre Soft ha un costo per la GPU ma ha un aspetto migliore. Guardando il clip di esempio di Meta, è difficile immaginare che uno sviluppatore scelga Hard.

In entrambi i casi, tuttavia, l'occlusione richiede l'uso degli speciali shader di occlusione di Meta o la sua specifica implementazione negli shader personalizzati. Non si tratta di una soluzione immediata e sarà probabilmente uno sforzo significativo per gli sviluppatori.

Oltre che per l'occlusione, gli sviluppatori potrebbero utilizzare le API Depth per implementare effetti visivi basati sulla profondità nella realtà mista, come la nebbia.

Fonte originale :

Stay Tuned !!