Comment l’intelligence artificielle peut conquérir la réalité virtuelle et les métavers

Deuxième épisode de notre série d’été sur la genèse de l’intelligence artificielle. Dieu dit: «Que la lumière soit.» Et la lumière fut. Mais l’Homme voulut s’échapper du monde visible ou y ajouter d’autres strates. Et il immisça l’IA dans des réalités virtuelles et augmentées.

Il y a plusieurs années, le neveu du philosophe australien David Chalmers lui montra la ville qu’il avait patiemment créée dans le jeu SimLife, avant de la détruire par les flammes et les raz-de-marée. «Etait-il juste un enfant de 5 ans qui jouait à des jeux? Ou un Dieu de l’Ancien Testament?», s’interroge-t-il dans son livre Reality+ (2022, éd. W.W Norton & Co), consacré aux mondes virtuels. Créateur d’univers, tout-puissant, omniscient: comme une troublante analogie, relève-t-il encore, les qualificatifs couramment associés à Dieu valent tout autant pour les concepteurs, voire les utilisateurs, de mondes virtuels. «Au fur et à mesure que les mondes simulés que nous créons deviennent plus complexes et incluent des êtres simulés potentiellement conscients de leur propre chef, être le dieu d’un monde simulé sera une énorme responsabilité», écrit David Chalmers. Surtout quand l’intelligence artificielle y fait son incursion.

Il y eut un soir, il y eut un matin: ce fut un jour nouveau pour les métavers.

Créer d’autres lumières, améliorer ses sens. Telle fut la mission à laquelle l’homme s’attela ces dernières décennies, en développant la réalité virtuelle (substitution au monde réel grâce, au minimum, à un visiocasque) et la réalité augmentée (superposition d’informations sur le réel par l’entremise d’un écran, de lunettes, de lentilles…). «Le développement de la réalité virtuelle, des environnements immersifs, date du début des années 1990, retrace Philippe Fuchs, ex-professeur de réalité virtuelle et augmentée à l’Ecole des mines de Paris et auteur du livre Théorie de la réalité virtuelle. Les véritables usages (2018, Presses des Mines). Jusqu’en 2014-2015, cela s’est principalement développé en direction des entreprises. Par la suite, l’émergence des smartphones a permis de concevoir des visiocasques bon marché, ce qui a ouvert des perspectives nouvelles.»

Divertissement, aviation, chirurgie, formation, modélisation d’immeubles ou de produits, analyse de performances sportives, traitement de phobies ou de l’anxiété (lire ci-dessous)… L’homme lui trouva d’innombrables usages. Il se mit aussi à imaginer des métavers, des mondes virtuels dont certains peuvent recourir à la réalité virtuelle. Non seulement en les dépeignant dans des livres de science-fiction comme Le Samouraï virtuel, de Neal Stephenson (1992), ou Player One, de Ernest Cline (2011). Mais aussi en tentant de les bâtir pour de bon, comme l’on érigerait une tour de Babel pour s’approcher des cieux. Sans parvenir, jusqu’ici, à croquer le fruit défendu. Car en l’espace d’un an, les utilisateurs des métavers reposant sur la blockchain (Sandbox, Decentraland, RobotEra…) ont brutalement déserté la plupart de ces plateformes, dans lesquelles de célèbres marques avaient acquis, jusqu’il y a peu, des parcelles à coups de millions de dollars. Quant à l’entreprise de Mark Zuckerberg, Meta (ex-Facebook), elle ne cesse de revoir les ambitions de son jeu Horizon Worlds – utilisant son visiocasque Oculus – à la baisse, tout en procédant à des vagues de licenciements.

L’Arche des géants de la tech

Tout comme Dieu se repentit d’avoir fait l’homme sur la Terre, jusqu’à l’exterminer lors du Déluge, voilà les métavers balbutiants aussitôt rayés de la carte, laissant la plupart de leurs concepteurs à leurs promesses de monts et merveilles – immersives comme financières. La plupart, mais pas tous. Car si Noé trouva grâce aux yeux de L’Eternel, les géants technologiques du monde moderne, eux, purent faire valoir leur fortune, en dollars ou en données personnelles. Pour embarquer dans une Arche qui, à l’heure actuelle, navigue sur les cendres de métavers prématurés, en attendant leur résurrection. Meta est mort, vive Meta! «Le sort que les métavers ont récemment connu est comparable à ce qui est arrivé à l’IA il y a dix ans, commente Thierry Dutoit, directeur de l’Isia Lab (Information, signal et intelligence artificielle, UMons), travaillant sur les interactions homme-machine, notamment dans le cadre de la réalité virtuelle ou augmentée. Ils ne sont donc pas morts pour autant.»

«Les métavers font face à des contraintes anthropo-technico-économiques: c’est dans cinq, dix ou quinze ans que les milliards des investisseurs de Meta commenceront à leur rapporter», souligne Philippe Fuchs. «Il faudra des décennies avant d’obtenir un véritable monde virtuel, décodait Olivier Servais, professeur d’anthropologie à l’UCLouvain, dans Le Vif du 27 janvier 2022. Pour le moment, nous n’avons tout simplement pas les capacités énergétiques pour alimenter ce genre de projets.»

S’il n’y avait nul besoin d’une intelligence artificielle poussée pour concevoir des solutions basiques de réalité virtuelle ou augmentée, celle-ci a bel et bien vocation à en étendre drastiquement le champ des possibles, afin de peaufiner l’expérience de l’utilisateur. Reconnaissance d’objets, suivi d’images, traitement du langage naturel (comme le fait ChatGPT), prédiction de comportements, analyse de la communication non verbale… Tous ces développements en plein essor se prêtent à une rencontre inévitable entre l’IA et la création de métavers plus aboutis, délestés de leurs erreurs de jeunesse. «L’intérêt de coupler IA et métavers va dans les deux sens, poursuit Thierry Dutoit. D’un côté, on sait que l’IA a besoin de grands GPU (NDLR: des processeurs graphiques) et de beaucoup de données pour fonctionner, ce qu’un métavers peut procurer. De l’autre, l’IA sert au développement du métavers.»

Le tournant de l’IA générative

Il y eut un soir, il y eut un matin: ce fut un jour nouveau pour les métavers. Car voilà que l’intelligence artificielle dite «générative» entre à présent en scène, dont ChatGPT constitue l’un des exemples connus du grand public. «En tant qu’IA générative, je suis capable de générer du contenu original et créatif de manière autonome en utilisant l’apprentissage automatique et les réseaux neuronaux», mentionne cette dernière. Appliquée à la réalité virtuelle, l’IA générative peut concevoir des objets en trois dimensions à partir d’une image ou d’un simple texte. Ou encore adapter la communication non verbale et la simulation des émotions d’un personnage virtuel de manière très réaliste.

Si Noé trouva grâce aux yeux de L’Eternel, les géants de la tech eux purent faire valoir leur fortune.

De son côté, Meta planche sur le projet Aria, visant à mettre l’IA au service de solutions futures de réalité augmentée. Le principe: lui apprendre comment un humain perçoit et interagit avec son environnement quotidien d’un point de vue individuel, pour en faire de même par la suite. Lors d’une récente conférence, Thierry Dutoit a ainsi pu découvrir les lunettes «surréalistes» que Meta procure à cette fin aux partenaires du projet pilote. Les milliers d’heures qu’elles enregistrent seront ensuite soumises à son Research SuperCluster (RSC), un supercalculateur de 231 pétaoctets (231 millions de gigaoctets) que le groupe a présenté début 2022.

Dieu vit que la lumière était bonne, et Dieu sépara la lumière des ténèbres. Mais qu’en est-il de celle que l’homme restitue, admire ou subit dans un casque de réalité virtuelle? Tant de débauche de moyens et d’énergie, mais à quelle fin? Il conviendra de faire le tri entre l’utile et le futile parmi toutes les fonctionnalités que vanteront les marchands de métavers avec immersion corporelle. «Les entreprises actives dans ces domaines ont intérêt à faire croire que tout va se passer dans le métavers, souligne Philippe Fuchs. J’entendais récemment un responsable de Microsoft évoquer l’opportunité d’un métavers industriel, pour aider un technicien à faire la maintenance de matériel. Or, on fait déjà cela depuis trente ans avec de la réalité augmentée!»

La récente mésaventure des métavers confirme en outre que les utilisateurs s’en détourneront sans états d’âme si l’interface s’avère décevante ou inutilement déconnectée du bon vieux réel. De même que Dieu n’a jamais inventé la salle de réunion «Eden» du troisième étage de la tour B4, l’intérêt de s’équiper d’un visiocasque, à grand renfort de gigabytes, apparaît limité, voire irresponsable dans un monde aux ressources finies, s’il ne s’agit que d’assister à une réunion PowerPoint. «Il y aura donc des tentatives, des offres commerciales de travailler constamment avec un métavers, avant que les usagers refusent ce type de travail», prophétise Philippe Fuchs, dans un article publié en mars 2023 dans l’Encyclopédie des techniques de l’ingénieur.

Des paradis virtuels limités

Jusqu’à présent, la vitesse de calcul des casques de réalité virtuelle donne lieu à des résultats graphiques rudimentaires lorsqu’il s’agit d’immerger un grand nombre de personnes dans un même lieu virtuel, par l’intermédiaire d’un avatar. «Il y a aussi la limitation des serveurs informatiques, insiste Thierry Dutoit. Il faut envoyer en performance les informations de positionnement, d’interaction de chaque utilisateur, ce qui ne permet de rassembler qu’une cinquantaine de personnes dans une pièce virtuelle.» Graphiquement, les paradis virtuels ressemblent donc encore plus à Super Mario qu’à l’Oasis transposée en 2018 au cinéma par Steven Spielberg dans Ready Player One.

Si l’homme poursuit frénétiquement sa quête du dernier carat de pixel et de lumière naturelle, elle n’est toutefois pas indispensable pour jouer des tours à son cerveau. «Une personne consciente sera toujours capable de dire si elle se trouve ou non dans une réalité virtuelle, nuance Philippe Fuchs. Je bannis aussi le terme “hyperréalisme”, car il demeurera un décalage entre la réalité et la manière dont on tente de la représenter virtuellement. En revanche, comme la réalité virtuelle sollicite les sens proprioceptifs et immerge le corps, on se fait prendre au jeu. D’une manière encore plus importante qu’au cinéma, alors que ce dernier peut susciter de vives émotions devant une histoire fictive.»

Le passage de spectateur à acteur dans un monde virtuel, singulièrement s’il est dénué de règles, soulève d’innombrables questions. Dont celle-ci: «Est-il acceptable, sur le plan éthique, que des environnements virtuels ou augmentés puissent échapper aux questionnements éthiques sous prétexte qu’ils n’appartiennent pas à l’environnement physique?», questionne un rapport d’expertise collective, publié en 2017 par l’Agence nationale française de sécurité sanitaire de l’alimentation, de l’environnement et du travail (Anses).

«Dieu regarda la Terre, et voici qu’elle était corrompue car, sur la Terre, tout être de chair avait une conduite corrompue.» Créateur de mondes virtuels ou augmentés assistés par l’intelligence artificielle, l’homme reçut la lourde tâche d’en être à la fois l’acteur et l’arbitre, pour se prémunir de nombreuses dérives. Il y eut un soir, il y eut un matin. Et cette longue mission commença.