Quand l’IA discrimine, qui est responsable?

Quand l’IA discrimine, qui est responsable?

L’intelligence artificielle transforme déjà plusieurs domaines sensibles : recrutement, santé, services sociaux, logement, crédit, sécurité et justice. Elle est souvent présentée comme un outil capable d’améliorer l’efficacité et de réduire les erreurs humaines. Mais une question demeure : peut-on vraiment parler de neutralité quand les décisions automatisées reposent sur des données produites dans une société traversée par des inégalités?

L’enjeu n’est pas seulement ce que l’IA peut faire. Il est aussi de comprendre qui contrôle son utilisation et qui demeure responsable lorsque ses effets deviennent problématiques.

L’illusion de neutralité

L’une des principales promesses de l’intelligence artificielle est qu’elle permettrait de remplacer certains biais humains par des décisions fondées sur des données. Mais le vrai enjeu est moins la machine elle-même que les choix humains qui la guident.

Derrière chaque système automatisé existent des décisions humaines : quelles données utiliser, quels critères privilégier, quels résultats considérer comme pertinents et quelles limites imposer au système.

Les données utilisées par l’IA proviennent souvent de pratiques antérieures : historiques d’embauche, dossiers judiciaires, données médicales, comportements observés ou informations administratives. Lorsqu’un système apprend à partir de données marquées par des inégalités historiques, il peut reproduire certaines tendances existantes, parfois sans intention discriminatoire.

La question devient alors : l’algorithme analyse-t-il seulement la réalité, ou contribue-t-il aussi à reproduire une réalité déjà inégalitaire?

Quand les biais deviennent des décisions

Le risque lié à l’IA ne réside pas seulement dans l’erreur technique. Il réside aussi dans le fait qu’une décision automatisée peut sembler objective, scientifique et difficile à contester.

Des situations réelles ont déjà montré ces enjeux. Une enquête de Reuters publiée en 2018 a révélé qu’un outil de recrutement développé en interne chez Amazon en était venu à défavoriser certaines candidatures féminines, non par intention affichée, mais par apprentissage à partir de données historiques d’embauche majoritairement masculines. Une analyse menée par l’organisme de journalisme d’enquête ProPublica en 2016 a montré comment COMPAS, un outil utilisé aux États-Unis pour estimer le risque de récidive, produisait des scores défavorables de façon disproportionnée envers les personnes noires, avec un impact direct sur des décisions pénales lourdes de conséquences. Une étude parue en 2019 dans la revue Science a par ailleurs démontré qu’un algorithme largement utilisé dans le système de santé américain sous-estimait systématiquement les besoins des patients noirs, parce qu’il s’appuyait sur des données déjà marquées par des inégalités d’accès aux soins.

Ces exemples ne signifient pas que toute intelligence artificielle est discriminatoire. Ils rappellent plutôt une réalité essentielle : une technologie peut être conçue pour améliorer une décision tout en produisant des effets inéquitables si son fonctionnement n’est pas évalué avec suffisamment de rigueur.

Une question de droit

Dans le domaine des droits de la personne, une règle ou un critère peut être discriminatoire même sans intention de nuire. C’est le principe de la discrimination indirecte : une mesure apparemment neutre peut produire des effets disproportionnés sur certains groupes. C’est, au fond, le même principe qui fonde l’obligation d’accommodement raisonnable en droit québécois.

Appliqué à l’intelligence artificielle, ce principe invite à dépasser une question limitée : « Le système voulait-il discriminer? » La vraie question est plutôt : « Quels effets ce système produit-il réellement sur les personnes concernées? »

Un outil automatisé peut utiliser des informations qui semblent objectives — un historique, une localisation, un parcours ou certains comportements passés — tout en reproduisant indirectement des inégalités déjà présentes.

Qui répond lorsque l’algorithme se trompe?

Lorsqu’une décision automatisée cause un préjudice, il est parfois tentant de dire : « C’est l’algorithme qui a décidé. » Mais cette réponse ne suffit pas.

L’automatisation ne supprime pas la responsabilité; elle la rend plus difficile à identifier. Une intelligence artificielle n’a pas de responsabilité juridique autonome. Elle ne choisit pas ses objectifs, ne sélectionne pas ses données et ne décide pas elle-même d’être utilisée.

Derrière chaque système existent donc des responsables humains et institutionnels : qui a développé l’outil, qui a décidé de l’utiliser, qui a évalué ses impacts, qui assure la supervision, et qui corrige les erreurs lorsqu’elles surviennent? La vraie question devient alors : qui contrôle les systèmes qui prétendent contrôler le risque?

Les questions à poser avant d’intégrer un système automatisé

Avant d’intégrer un système automatisé dans une organisation, plusieurs questions méritent d’être posées, et de l’être ensemble plutôt qu’isolément :

• Quelles données alimentent le système, et reflètent-elles réellement les personnes et les situations concernées?
• Quels effets différents ce système peut-il produire selon les groupes?
• La décision qu’il produit peut-elle être expliquée et contestée?
• Et surtout, qui demeure responsable au final, une fois la décision rendue?

Ces questions sont essentielles, car elles permettent de vérifier si la technologie renforce l’équité ou si elle risque au contraire d’amplifier des désavantages déjà existants.

JIRIS vous accompagne

L’intelligence artificielle représente une opportunité majeure d’innovation. Mais toute innovation technologique doit aussi être pensée sur le plan social, éthique et institutionnel.

Nos formations permettent aux organisations, aux intervenants et aux communautés d’explorer les enjeux liés à l’intelligence artificielle, aux biais algorithmiques, à la responsabilité institutionnelle et aux pratiques inclusives.

Parce que la vraie question n’est pas seulement : que peut faire l’intelligence artificielle? Mais aussi : que voulons-nous lui permettre de faire, et dans quelles conditions?

Chez JIRIS, nous croyons que les meilleures réponses naissent d’une réflexion partagée. C’est pourquoi nos formations ne cherchent pas seulement à transmettre des connaissances : elles créent un espace pour comprendre les enjeux, questionner les pratiques et construire des solutions adaptées à chaque réalité.