Karthik Ramakrishnan, un technicien de Toronto, a cofondé avec Dan Adamson et Rahm Hafiz la société Armilla AI. (Photo: La Presse Canadienne)

Toronto — Il s’écoule rarement une semaine sans que Karthik Ramakrishnan, un technicien de Toronto, tombe sur un nouvel exemple d’intelligence artificielle qui a mal tourné. 

Les systèmes programmés avec cette technologie ont notamment vu un robot conversationnel médical français suggérer que quelqu’un se suicide, un compte Twitter géré par un robot de Microsoft relayer une théorie du complot sur le 11 septembre et un outil de recrutement d’Amazon.com déclasser les CV dont les références étaient des femmes. 

Mais M. Ramakrishnan est convaincu que ces dérives peuvent être atténuées et que de nombreux problèmes liés à l’IA — une technologie qui s’appuie sur des machines qui «apprennent» à partir de données — peuvent être évités. 

C’est pourquoi il a cofondé, avec Dan Adamson et Rahm Hafiz, la société Armilla AI, qui a été lancée jeudi avec un soutien financier de 1,5 million $ d’investisseurs, dont le parrain de l’intelligence artificielle Yoshua Bengio et le fonds Two Small Fish Ventures, géré par Alan et Eva Lau de Wattpad. 

Armilla est à l’origine d’une nouvelle plateforme d’assurance qualité qui analyse les systèmes pour détecter si une IA est défectueuse et prédire ses conséquences avant que des problèmes ne surviennent. 

«Aucun système n’est parfait, mais notre objectif est de les rendre aussi parfaits que possible», a expliqué M. Ramakrishnan, chef des affaires commerciales d’Armilla.

La plateforme d’Armilla explore les systèmes créés par les clients, les données qui ont entraîné leur logiciel, leur modélisation et leurs résultats pour effectuer environ 50 tests, à la recherche de problèmes de conformité, de préjugés liés au genre ou à l’éthique et d’autres conséquences imprévues. 

Par exemple, Armilla a utilisé sa plateforme avec un ensemble de données publiques contenant des informations sur les prêts de crédit en Allemagne. 

La banque à l’origine de la base de données ne voulait pas que son IA discrimine les nouveaux immigrants, alors elle a supprimé une ligne de données dévoilant les statuts d’immigration. 

Mais Armilla a découvert que le système était, malgré cela, discriminatoire à l’égard des immigrants, puisque la banque comprenait des informations sur le logement. Le fait d’habiter dans des appartements à locataires multiples était si fortement corrélé avec le statut d’immigration que cela causait un biais. 

«C’est de cette façon que les défauts se glissent dans les systèmes, pas intentionnellement, mais il y a ces conséquences inattendues avec la façon dont nous gérons nos systèmes et les corrélations de second ordre que nous ne voyons pas sont le genre de choses que la plateforme d’Armilla est conçue pour déceler», a expliqué M.  Ramakrishnan. 

L’ensemble du processus permet de gagner du temps, a-t-il fait valoir, parce que même si les grandes entreprises sophistiquées ont des équipes de centaines de travailleurs juste pour faire exécuter un nombre de scénarios croissants à leurs systèmes, ces tâches sont souvent effectuées manuellement et de façon sporadique ou selon un calendrier fixe. 

«Le secteur bancaire fait des modèles depuis plus de 20 ans», a-t-il souligné. «Mais ce processus effectué manuellement prend entre six mois et un an pour un seul modèle, et une banque de taille moyenne compte environ 400 modèles et plus, et ce nombre ne cesse de croître.» 

Des systèmes pas aussi neutres que les données

La plateforme d’Armilla peut rapidement apprendre les sensibilités et les parties les plus risquées de n’importe quel système, afin qu’une entreprise puisse exécuter ses tests à plusieurs reprises et découvrir tout angle mort non intégré aux modèles traditionnels. 

Mais le but n’est vraiment pas la rapidité ; c’est la sécurité et l’éthique. 

Ces deux éléments sont devenus des problèmes urgents en cette époque où les organisations de tous les secteurs se tournent vers la technologie, selon un rapport de de la Rotman School of Management de l’Université de Toronto, publié en septembre. 

«La technologie et les systèmes d’IA ne sont ni neutres ni objectifs, mais existent dans un contexte social et historique qui peut marginaliser certains groupes, notamment les femmes, les communautés racialisées et celles à faible revenu», indique le rapport.

Le document note que les systèmes basés sur l’IA sont une «épée à double tranchant» puisqu’ils aident souvent, mais ne sont pas aussi neutres que les données et les algorithmes sur lesquels leur technologie est basée. 

Par exemple, le document évoque une situation dans laquelle un système d’IA pour détecter les lésions cutanées cancéreuses était moins susceptible de détecter des cancers chez les personnes à la peau foncée, car il avait été développé à partir d’une base de données composée principalement de populations à peau claire. 

Armilla espère exposer ces problèmes et éviter les «erreurs catastrophiques». 

«Il y a tellement de choses qui peuvent arriver dans un système complexe», a indiqué M. Ramakrishnan. 

«Nous voulons nous assurer que nous pouvons attraper les gros problèmes autant que possible.»