Quand des personnages sortent littéralement du cadre grâce à l’intelligence artificielle

Une paire de lunettes de réalité augmentée posée sur le nez, vous déambulez entre les riches collections de peintures des Musées royaux des beaux-arts de Belgique, à Bruxelles. Et voilà que les personnages des tableaux prennent vie.

D’un claquement de doigts, vous entraînez dans une gigue folle les danseuses et le danseur en tutu de la Ballerine masculine de René Magritte avec la Danseuse espagnole de Joan Miró. Il ne manque que la musique. Cette séquence imaginaire ne sera peut-être bientôt plus de la science-fiction.

Jusqu’alors, des personnages qui sortent du cadre de leur photo en laissant l’arrière-plan derrière eux, cela n’existait qu’à grands renforts d’effets spéciaux dans la saga Harry Potter avec les photos animées. Mais Chung-Yi Weng, un doctorant de l’université de Washington, est parvenu à concrétiser cet effet dans la vraie vie en développant un puissant algorithme.  » Notre méthode permet d’animer un sujet humain à partir d’une seule photo. Le personnage peut, par exemple, s’asseoir, sauter en 3D mais aussi sortir de l’image en marchant ou en courant « , explique-t-il sur arXiv.

Dans une vidéo diffusée sur YouTube, l’équipe de recherche applique sa méthode à des personnages sur des supports en 2D comme des photos, des affiches, des jaquettes de disques et de CD ainsi que sur des oeuvres d’art. Bluffant. Au départ d’un simple cliché, on y voit le célèbre basketteur Stephen Curry sortir de la photographie numérique qui l’a capturé et courir vers nous, vainqueur, de façon naturelle, comme s’il avait été filmé. Idem avec Neil Armstrong marchant sur la Lune. Toutefois, dans ce cas, l’illusion n’est pas parfaite car la faible gravité (un sixième de celle de la Terre) n’est pas représentée dans la démarche de l’astronaute.

Quant aux tableaux, ils deviennent mouvants. Dans Jeune Fille avec un voilier, une oeuvre de Picasso, le personnage central prend vie. Il sort de la toile et évolue dans l’espace. Appliqué en 3D, l’effet est encore plus surprenant. Avec l’aide de la réalité augmentée, on peut littéralement tourner autour du personnage et en voir les volumes. De même pour des personnages d’affiche, de graffiti et même des héros de dessins animés comme Son Goku qui effectue un saut avant de retomber sur ses pieds. Les bras, les jambes, la tête, tout est proportionné par rapport à l’image initiale et bouge de façon naturelle.  » Nous reconstruisons un tissu maillé sur le personnage afin de le « réveiller » à l’aide d’une animation en 3D « , précisent les chercheurs. Autre prouesse : l’arrière-plan est reconstitué grâce à un autre algorithme qui interpole les éléments manquants.

Par Laetitia Theunis.