Meta révèle des prototypes de casques VR conçus pour rendre la réalité virtuelle « impossible à distinguer de la réalité »

Et voudrait produire des casques qui réussissent un «test visuel de Turing»

Meta révèle des prototypes de casques VR conçus pour rendre la réalité virtuelle « impossible à distinguer de la réalité »,
et voudrait produire des casques qui réussissent un « test visuel de Turing »

La division Reality Labs de Meta a dévoilé de nouveaux prototypes dans sa feuille de route vers des graphismes de réalité virtuelle légers et hyperréalistes. Les percées restent loin d'être prêtes pour le consommateur, mais les prototypes - au nom de code Butterscotch, Starburst, Holocake 2 et Mirror Lake - pourraient s'ajouter à un casque mince et très éclairé qui prend en charge des détails plus fins que son écran Quest 2 actuel.

Le PDG de Meta, Mark Zuckerberg, s'est entretenu avec le scientifique en chef de Reality Labs, Michael Abrash, pour expliquer que l'objectif ultime de l'entreprise est de construire du matériel VR qui répond à toutes les exigences visuelles pour être accepté comme « réel » par votre système visuel.

Meta a indiqué que son objectif ultime avec son matériel VR est de créer un casque confortable et compact avec une finalité visuelle qui est « indiscernable de la réalité ». La société a dévoilé ses derniers prototypes de casque VR qui, selon elle, représentent des étapes vers cet objectif.

Meta n'a pas caché qu'il déversait des dizaines de milliards de dollars dans ses efforts XR, dont une grande partie va à la R&D à long terme par le biais de sa division Reality Labs Research. Apparemment, dans le but de faire la lumière sur ce que cet argent accomplit réellement, la société a invité un groupe de presse à s'asseoir pour jeter un coup d'œil à ses dernières réalisations en matière de R&D sur le matériel VR.

Le PDG de Meta, Mark Zuckerberg, et le scientifique en chef de Reality Labs, Michael Abrash, ainsi que d'autres membres de Reality Labs, ont présenté leur travail lors d'une table ronde virtuelle la semaine dernière. L'événement s'est concentré sur les prototypes que Meta appelle des « machines à voyager dans le temps » : des preuves de concept volumineuses destinées à tester une fonctionnalité spécifique, comme un rétroéclairage ultra-lumineux ou un écran à très haute résolution. « Je pense que nous sommes actuellement sur le point de faire un grand pas en avant vers le réalisme », a déclaré Zuckerberg aux journalistes. « Je ne pense pas qu'il faudra longtemps avant que nous puissions créer des scènes avec une fidélité fondamentalement parfaite ». La technologie d'affichage n'est pas la seule pièce non résolue de ce puzzle, mais c'est un domaine où la recherche intensive sur le matériel VR de Meta lui donne une longueur d'avance.


Au sein de la division Reality Labs Research de Meta, la société utilise le terme « test de Turing visuel » pour représenter la barre qui doit être atteinte pour convaincre votre système visuel que ce qui se trouve à l'intérieur du casque est vraiment réel. Le concept est emprunté à un concept similaire qui désigne le point auquel un humain peut faire la différence entre un autre humain et une intelligence artificielle.

Pour qu'un casque convainque complètement votre système visuel que ce qui se trouve à l'intérieur du casque est vraiment réel, Meta dit que vous avez besoin d'un casque qui peut réussir ce « test visuel de Turing ».

Quatre défis visuels

Zuckerberg et Abrash ont décrit ce qu'ils considèrent comme quatre défis visuels clefs que les casques VR doivent résoudre avant que le test visuel de Turing puisse être réussi : varifocale, distorsion, résolution de la rétine et HDR.

En bref, voici ce que cela signifie :

• varifocale : la caractéristique varifocale permet d'effectuer un zoom sur un point précis sans pour autant réduire la qualité de l'image. Par exemple, les caméras d'extérieur varifocales permettent un réglage précis de l'angle de vision ;
• distorsion : les lentilles déforment intrinsèquement la lumière qui les traverse, créant souvent des artefacts comme la séparation des couleurs et la nage de la pupille qui rendent évidente l'existence de la lentille ;
• résolution de la rétine : avoir une résolution suffisante dans l'affichage pour atteindre ou dépasser le pouvoir de résolution de l'œil humain, de sorte qu'il n'y a aucune preuve de pixels sous-jacents ;
• HDR : également connu sous le nom de plage dynamique élevée, qui décrit la plage d'obscurité et de luminosité que nous connaissons dans le monde réel (que presque aucun écran aujourd'hui ne peut imiter correctement).

L'équipe de recherche sur les systèmes d'affichage de Reality Labs a construit des prototypes qui fonctionnent comme des preuves de concept pour des solutions potentielles à ces défis.

Caractéristique varifocale

Pour répondre à la caractéristique varifocale, l'équipe a développé une série de prototypes qu'elle a appelés Half Dome. Dans cette série, la société a d'abord testé un prototype varifocal qui utilisait un écran à déplacement mécanique pour modifier la distance entre l'écran et l'objectif, modifiant ainsi la profondeur focale de l'image en fonction de l'endroit où les utilisateurs regardent. Plus tard, l'équipe est passée à un système électronique à semi-conducteurs qui a abouti à des optiques varifocales nettement plus compactes, fiables et silencieuses et selon la recherche interne Meta, elles peuvent créer une illusion de profondeur plus convaincante (et physiquement confortable) en VR.

Meta a décrit la technologie de Half Dome comme « presque prête pour la commercialisation » en 2020, mais, cette fois-ci, Zuckerberg était plus mesuré : « la date est assez éloignée », a-t-il répondu à un commentaire qui lui rappelait ses propos de 2020. « Nous y travaillons, nous voulons vraiment l'intégrer à l'un des prochains casques, je suis convaincu que nous le ferons à un moment donné, mais je ne vais rien annoncer à l'avance aujourd'hui ».



Résolution de la rétine

Butterscotch est une tentative d'affichage de casque de qualité proche de la rétine – quelque chose que vous pouvez trouver dans les casques haut de gamme d'entreprises comme Varjo, mais pas dans la gamme Meta actuelle. Le prototype est « loin d'être livrable » et a nécessité de réduire de moitié environ le champ de vision de 110 degrés du Meta Quest 2. Mais il offre environ 2,5 fois la résolution du Quest 2 (en quelque sorte) 1832 x 1920 pixels par œil, permettant aux utilisateurs de lire la ligne de vision 20/20 sur une carte des yeux. Zuckerberg dit qu'il offre environ 55 pixels par degré de champ de vision, légèrement inférieur à la norme de rétine de 60 pixels par degré de Meta et un peu inférieur aux 64 pixels par degré de Varjo.


Plage dynamique élevée (HDR)

Zuckerberg a déclaré que parmi les quatre défis clefs que lui et Abbrash ont passés en revue, « le plus important de tous est le HDR ». Pour prouver l'impact du HDR sur l'expérience VR, l'équipe de recherche sur les systèmes d'affichage a construit un autre prototype, appelé à juste titre Starburst.

Starburst est encore moins livrable que Butterscotch mais teste une mise à niveau tout aussi impressionnante. Le prototype volumineux utilise une lampe puissante - nécessitant des poignées pour supporter son poids - et produit un éclairage à plage dynamique élevée (HDR) avec une luminosité de 20 000 nits. « Celui-ci est extrêmement peu pratique à considérer comme une direction de produit pour la première génération, mais nous l'utilisons comme banc d'essai pour d'autres recherches et études », a expliqué Zuckerberg. « Le but de tout ce travail est de nous aider à identifier les voies techniques qui vont nous permettre d'apporter des améliorations suffisamment significatives pour que nous puissions commencer à nous approcher du réalisme visuel ».

Le but du HDR est de donner une luminosité réaliste à des choses qui sont en fait extrêmement lumineuses dans la vraie vie. Par exemple, un incendie, une explosion, un feu d'artifice ou même des reflets brillants sur une fenêtre par une journée sans nuages. Toutes ces choses semblent « apparaître » dans la vraie vie parce qu'elles sont beaucoup plus brillantes que le monde qui les entoure. Être capable de reproduire cette « apparition » de luminosité en VR est essentiel pour réussir le test visuel de Turing, déclare Meta.

À titre de comparaison, l'affichage de Quest 2 atteint un maximum de 100 nits et les téléviseurs HDR haut de gamme atteignent environ 2 000 nits. Cela signifie que le prototype Starburst peut produire une plage de luminosité 10 fois plus lumineuse que même certains des meilleurs téléviseurs HDR du marché.

Et tandis que la prochaine PlayStation VR 2 de Sony devrait être le premier casque HDR VR disponible dans le commerce, le « HDR » n'est pas exactement bien défini, donc on ne sait pas s'il atteindra 1 000 nits, et encore moins 2 000.

Réduction du format

Alors que de nombreux prototypes de casques VR de la société sacrifient le poids et la taille afin de prouver...