Et si le Test de Turing était devenu obsolète ?

IA, Code et Recherche Scientifique : un mélange détonant

La question de la maturité de Intelligence Artificielle (IA)

L’Intelligence Artificielle (IA) est un des plus beaux marronniers du monde numérique. Les ordinateurs n’existaient pas encore que Alan Turing mettait au point son fameux test. À ce moment là (1950) la question était loin d’être brûlante, mais il semblait important de se préparer, pour que le jour où la question se poserait, on serait capable d’identifier un robot dans une conversation entre plusieurs participants, humains et robots mélangés.

Le Test de Turing est-il scientifique ?

Alan Turing est une icône intouchable, et loin de moi l’idée de mettre en doute quoi que ce soit à son propos. Cela fait très longtemps que j’admire ses travaux, et je n’ai pas eu besoin que le cinéma s’en empare pour cela. Mais il faut remettre en perspective l’idée de son « Test », tout à fait visionnaire, mais qui est basé sur l’état de l’art en 1950.

Rappelons brièvement en quoi consiste ce test :

Ce test consiste à mettre un humain en confrontation verbale à l’aveugle avec un ordinateur et un autre humain.

Si la personne qui engage les conversations n’est pas capable de dire lequel de ses interlocuteurs est un ordinateur, on peut considérer que le logiciel de l’ordinateur a passé avec succès le test (source)

En résumé, il s’agit d’être capable de mener une conversation sur un ton badin avec des interlocuteurs humains. Depuis quelques années, des entreprises et diverses institutions préparent des « bots » spécialement pour ce test et  on assiste à des choses comme la simulation d’un humain d’une intelligence d’un enfant de 13 ans, parlant mal l’anglais…

Ce n’est plus du tout le contexte du Test de Turing mais une simulation de conversation, le Test s’en trouve complètement biaisé et il est temps de le remettre au goût du jour. D’autant que depuis (2011), on a eu le Watson d’IBM qui a gagné dans le jeu de la télé US Jeopardy! sans avoir besoin de se faire passer pour un humain. On pourrait donc en conclure que l’important pour une intelligence artificielle n’est pas de se faire passer pour un humain, mais de réfléchir mieux et plus vite, et de résoudre rapidement des problèmes qui sont pour nous longs à résoudre.

IA et Recherche Scientifique

Il semble qu’à côté de recherches scientifiques très sérieuses, l’IA soit aussi le bac à sable des bricoleurs du dimanches et de Géo Trouvetout en maturation. Pour preuve, le nombre d’articles de blog qui vous proposent de développer votre propre ChatBot intelligent à base de Python et de poudre de perlimpinpin. Et il semble que des entreprises très sérieuses  tombent aussi dans ce travers. On se souviendra de l’expérience du TwitterBot de Microsoft il y a quelques années (2016), devenu Nazi en moins de 24h, une manière de démontrer que le machine learning ne consiste pas uniquement à laisser jouer l’ordinateur tout seul au casse briques ou au Go. Il y a aussi de nombreux principes moraux que ces systèmes vont devoir intégrer. Du côté de Universités, le MIT travaille sur ce sujet depuis déjà un bout de temps et met à notre disposition les résultats ainsi que des prototypes qui s’enrichissent de nos réponses.

Si on revient aux entreprises, on se rend compte que la quête du sensationnel passe souvent devant la profondeur et le sérieux d’une vraie recherche scientifique. Récemment, l’étude de Google DeepMind sur son IA médicale a été pointée du doigt pour son manque de rigueur. Ce qui pose question est que la revue scientifique Nature semble avoir été peu regardante sur la méthodologie et les résultats décrits par l’article et on peut se demander comment a validé cet article, le nom de Google a-t-il suffit comme gage de qualité ? Pourquoi ces biais n’ont pas été mis en avant par la peer review ?
D’autant qu’au paragraphe « Code Availability » on peut lire : « Our experimental framework makes use of proprietary libraries and we are unable to publicly release this code ».
En résumé, un code magique et secret a été mis au point pour détecter des problèmes rénaux, mais on ne peut que compter sur la bonne fois des auteurs pour en valider le sérieux. Diafoirus n’aurait pas dit mieux, mais il aurait sans doute pointé le poumon ! Pour qu’une recherche scientifique de ce niveau soit acceptée, la moindre des choses serait de pouvoir s’assurer de sa reproductibilité. Dans ce cas on en est donc loin, bien loin, encore et toujours à cause du secret dont on aime entourer le code.

Les algorithmes de l’IA ne pourront jamais prouver leur comportement éthique ou moral. Le seul moyen de pouvoir les contrôler est de consulter le code (et encore faut-il être capable de le comprendre).

Les belles promesses de l’IA

Nous ne pouvons que constater que l’IA est devenu avant tout un enjeu économique et d’image. Les grandes entreprises du numérique doivent montrer à leurs clients et leurs compétiteurs qu’elles sont dans la course et pour cela produire des dispositifs agrémentés d’articles et de communication.

Mais tant qu’elles ne nous montrent pas le code, on risque de se trouver dans une dérive éthique ou des problèmes moraux. On risque même l’escroquerie pure et simple, puisque certaines révélations ont permis de montrer que derrière certains dispositifs d’IA très avancés, il y avait en fait… des humains ! Ce que certains qualifient de « fautomation », contraction  de fausse automatisation.

Voici une petite liste non exhaustive d’articles sur le sujet si vous voulez en savoir plus :

intelligence artificielle | Antonio A. Casilli et Derrière l’intelligence artificielle, il y a des humains peu rémunérés

Amazon confirms that employees listen to Alexa conversations to help improve digital assistant

Microsoft fait appel à des humains pour analyser des traductions Skype

Revealed: Microsoft Contractors Are Listening to Some Skype Calls

Maintenant que vous savez tout, soyez sympa quand vous parlez à Siri, il y a peut-être quelqu’un à l’autre bout qui cherche à vous aider !

Leave a Comment

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.