Tromper l’intelligence artificielle peut être très facile

Un simple sticker, presque imperceptible à l’oeil nu, peut induire votre voiture intelligente en erreur. Car si l’intelligence artificielle ne cesse de gagner en puissance, elle est aussi très vulnérable à un tout nouveau genre de hacking dit De Standaard.

Un simple autocollant, c’est parfois tout ce dont on a besoin pour dérouter un système, par ailleurs, ultra-performant. Un motif fait d’une multitude de lignes et de couleurs peut rendre chèvre le plus puissant des ordinateurs. Et cela marche aussi pour les systèmes de reconnaissance faciale. Car porter des lunettes avec cet imprimé sur les verres permettrait de passer entre les mailles du filet. Ni vu,ni connu. « On ne sait par contre pas exactement pourquoi ni comment ça marche », explique le chercheur Jonathan Peck dans De Standaard. « On pense que cela détourne l’attention du système d’Intelligence artificielle a la manière d’un drapeau rouge pour un taureau. »

L’apprentissage profond

L’intelligence artificielle a réalisé des bonds de géants ces dernières années, surtout en ce qui concerne la reconnaissance d’images et de sons principalement grâce à ce qu’on appelle l’apprentissage profond (deep learning en anglais). Ce terme regroupe, pour le résumer très sommairement, un ensemble de méthodes d’apprentissage automatique qui donne du « sens » à des données en leur donnant la forme d’images, de sons ou de textes. Cet apprentissage est lui-même « construit » sur des réseaux de neurones artificiels. Ceux-ci sont inspirés par les neurones du cerveau humain. Plus le nombre de neurones est élevé, plus le réseau est « profond » et les connexions précises.

Ces techniques ont, entre autres, permis d’améliorer la reconnaissance faciale et vocale ou encore la « vision » robotique. Mais, et c’est l’un de ses gros points faibles, il peut être facilement trompé par ce qu’on appelle des perturbations hostiles. Ce n’est en réalité rien d’autre que du piratage. Si dans un premier temps, les attaques ne pouvaient que se faire sur un réseau neuronal dont on connaissait très bien les particularités, cette technique a elle aussi évolué pour fournir des « perturbateurs » pratiquement universels. Comme ce fameux autocollant. Une forme de piratage particulièrement retors puisqu’on ne sait pas exactement comment fonctionne l’intelligence artificielle dans ses moindres finesses. Les couches des réseaux neuronaux profonds sont parfois si abstraites et opaques qu’on ne sait quels sont les liens exacts qui ont été faits pour arriver à un résultat bien précis. On ne peut donc pas non plus garantir avec certitude la justesse du résultat final. C’est ce qui rend si délicate la technologie derrière les voitures qui roulent toutes seules.

Parfois, une toute petite modification, un pixel peut suffire, peut introduire le système en erreur. Après tout est une question d’optimisation : un résultat maximal, pour un minimum de changement de l’image. Un panda va, par exemple, être pris par le système d’intelligence artificielle pour un gibbon ou une glace pour un burrito. Et ce alors que l’oeil de l’homme ne voit rien d’autre qu’un panda ou une glace. Ces perturbateurs sont donc invisibles à l’oeil nu. Et « c’est étonnamment facile », dit Jonathan Peck toujours dans De Standaard. « Vous pouvez le faire sur votre propre ordinateur et avec les outils comme Foolbox et CleverHans qui peuvent être trouvés gratuitement sur Internet. » A contrario, il existe aussi un remède simple puisque de nombreuses photos éditées sont correctement reconnues lorsqu’elles sont tournées un peu à gauche ou à droite. Ce système de perturbateur peut aussi être utilisé pour vous protéger, signale enfin De Standaard. Par exemple, contre la reconnaissance faciale. Chaque photo de vous en ligne peut potentiellement venir « nourrir » un système de reconnaissance faciale. Il est cependant possible de rendre vos clichés familiaux illisibles en les traitants avec les programmes signalés ci-dessus.

Pas que l’image, le son aussi

Il n’y a pas que l’image, des sons peuvent servir de perturbateurs dans une « maison intelligente ». En janvier, des chercheurs chinois ont démontré que des commandes vocales cachées dans un morceau de musique ou encore dans un film que vous regardez sur YouTube peuvent ouvrir la serrure de votre porte d’entrée. Pour l’instant, on investit massivement dans le développement de cette technique d’apprentissage en profondeur sans trop se soucier de la sécurité. Une hérésie pour de nombreux chercheurs. On répète les mêmes erreurs commises lors des débuts d’Internet où l’on ne souciait pas des virus et des pirates. Une négligence que l’on paye encore lourdement vingt ans plus tard.