Des chercheurs parviennent à reconstruire un environnement 3D depuis des simples réflexions dans l’œil

Des chercheurs parviennent à reconstruire un environnement 3D depuis des simples réflexions dans l'œil. Des travaux importants qui pourraient permettre d'aller bien plus loin dans la reconstruction de scènes 3D.

Des chercheurs de l’Université du Maryland ont transformé de simples réflexions dans l’œil en scènes en trois dimensions grâce aux champs de radiance neuronaux (NeRF), une technologie IA permettant de reconstruire des environnements depuis des photos en 2D. Leur étude fournit un aperçu fascinant d’une technologie qui pourrait permettre de révéler des environnements complets depuis de simples portraits photo.

Des chercheurs parviennent à reconstruire un environnement 3D depuis des simples réflexions dans l’œil

L’équipe a utilisé de subtiles réflexions de lumière capturées par l’œil humain pour tenter de discerner l’environnement immédiat du sujet. Ils ont commencé avec plusieurs images haute résolution depuis une position fixe, capturant un individu en mouvement qui regarde la caméra. Ils ont ensuite zoomé sur les réflexions, les ont isolées et calculé où les yeux regardaient.

Les résultats montrent la reconstruction d’un environnement assez reconnaissable. Une scène capturée via un œil synthétique (ci-dessous) a fourni un résultat plus impressionnant. Cependant, la tentative de modéliser les réflexions dans les yeux de Miley Cyrus et Lady Gaga depuis des clips n’a abouti qu’à de vagues formes, interprétées par les chercheurs comme un réseau de LED et une caméra sur un trépied. Loin d’une utilisation en conditions réelles, donc.

reconstruction environnement 3D réflexions œil

L’équipe est cependant parvenue à surmonter d’importants obstacles pour reconstruire ces scènes. Par exemple, la cornée introduit « du bruit inhérent » qui rend difficile de séparer la lumière réfléchie par les textures complexes de l’iris humain. Pour corriger cela, ils ont introduit une optimisation de pose de la cornée – en estimant la position et l’orientation de la cornée – et une décomposition de la texture de l’iris – en extrayant les caractéristiques uniques de l’iris des individus -. Enfin, une technique de machine learning qui simule des textures plus lisses que les vraies a permis d’isoler et d’améliorer davantage la scène reflétée.

Des travaux importants qui pourraient permettre d’aller bien plus loin dans la reconstruction de scènes 3D

Malgré les progrès réalisés et ces contournements très intelligents, il reste encore de nombreux défis à résoudre. « Nos résultats actuels avec des images réelles proviennent d’une ‘configuration de laboratoire’, comme un zoom sur le visage d’une personne, des zones de lumière pour illuminer la scène et le mouvement délibéré de la personne », expliquent les auteurs. « Des paramètres moins contrôlés restent très difficiles à interpréter (par exemple, une vidéoconférence avec des mouvements de tête naturels) à cause de la plus faible résolution des capteurs, de la plage dynamique et du flou de bougé. » De plus, l’équipe explique que ses suppositions universelles sur la texture de l’iris sont probablement trop simplistes pour être appliquées aussi globalement, surtout alors que les yeux bougent davantage dans ce genre de configuration contrôlée.

Quoi qu’il en soit, l’équipe est très fière des progrès obtenus pour de futures innovations importantes. « Avec ces travaux, nous espérons pouvoir inspirer de futures explorations qui utiliseront des signaux visuels inattendus, accidentels même, pour révéler des informations sur le monde qui nous entoure, ouvrant l’horizon de la reconstruction des scènes en 3D. » Bien que des versions plus évoluées de ce genre de technologies pourraient évidemment poser des questions de confidentialité, dites-vous bien qu’aujourd’hui, il est seulement possible de détecter un vague Kirby dans des conditions tout à fait idéales.