Digital Services Act : vers des algorithmes responsables ?

Les biais préexistent aux algorithmes, et ces derniers peuvent aider à les réduire. Néanmoins les biais algorithmiques méritent une attention particulière du législateur, et notamment de la Commission européenne, qui rédige en ce moment son Digital Services Act.

Car les algorithmes ne font pas que répliquer des biais historiques, ils font office de caisse de résonance. S’ils incorporent des biais, ils menacent de les diffuser à grande échelle. Un algorithme de police entraîné sur les données historiques d’une équipe de police raciste pourra répercuter ces biais sur les comportements d’autres polices qui utilisent le logiciel. Par ailleurs, les algorithmes risquent de camoufler la responsabilité de chacun, et de rendre plus difficile la contestation de décisions biaisées.

Mais combattre les biais algorithmiques peut s’avérer difficile

Ces biais posent cependant de multiples difficultés. La définition d’un résultat biaisé dépend du contexte. Un traitement équitable peut prendre la forme d’une équité entre individus (chacun est traité de la même manière) ou entre groupe (chaque groupe, homme/femme, catholique/musulman,…, est traité en moyenne de la même manière). Les deux approches ne sont pas toujours compatibles, et il est fort à parier que les conceptions d’équités varient autour du globe, par exemple entre l’Europe et les États-Unis.

Ensuite, modifier un algorithme pour qu’il soit pleinement équitable implique nécessairement d’en réduire la performance technique. Si cela peut être acceptable dans la grande majorité des cas, la dégradation de performance pour des algorithmes sensibles peut être difficile à accepter, par exemple dans le domaine médical. Doit-on privilégier l’équité d’un algorithme de détection de cancers à partir de radiographie, au détriment de sa performance pour certains types de patients ?

Enfin, réguler strictement les entreprises afin de s’assurer de l’absence de biais peut conduire à renforcer la position dominante des GAFA, qui ont les ressources à leur disposition pour se plier à toute régulation. L’écosystème numérique européen reste encore à la peine, et il faut préserver la capacité d’innovation des entreprises et des start-ups.

Pour autant, contrôler les biais des algorithmes et maîtriser leurs conséquences est plus que jamais essentiel si l’on veut maintenir la confiance des usagers dans les plateformes et services numériques.

Quel est le cadre légal actuel ?

L’année 2020 marque peut être l’année où la tech devient réellement une industrie régulée, comme tant d’autres avant elles, de la banque aux télécommunications. Néanmoins le mouvement s’est amorcé il y a déjà plusieurs années, et les intermédiaires numériques doivent d’ores et déjà suivre un certain nombre de réglementations.

En Europe, elles respectent un ensemble de lois qui s’appliquent au monde du physique comme du numérique : protection du consommateur, fiscalité, fake news… En complément, certains textes spécifiques sont venus durcir leur cadre d’activité dans plusieurs domaines comme la protection des données personnelles avec le RGPD, ou la concurrence dans le commerce en ligne avec la directive e-commerce.

Sur le plan national, la loi du 27 mai 2008 définit 25 critères protégés contre les discriminations (genre, religion, opinion politique,…) pour des multiples situations dont l’accès à l’emploi ou aux services publics, avec ou sans présence d’algorithmes. La loi pour une république numérique de 2016 interdit les décisions publiques automatisées sans information et transparence vis à vis du citoyen sur le fonctionnement de l’algorithme. Ainsi, il existe d’ores et déjà de nombreux gardes fous limitant les risques de biais des algorithmes.

Des failles subsistent néanmoins : les régulations en vigueur sont majoritairement ex post, c’est-à-dire dans une logique de sanctions de mauvais comportements et accordent donc peu d’importance aux mesures de prévention et de correction des biais algorithmiques, ralentissant la mise en œuvre de bonnes pratiques dans l’écosystème numérique. Par ailleurs, les lois françaises et européennes sur la protection de la vie privée empêchent l’évaluation des biais des algorithmes sur des critères sensibles comme l’origine ethnique ou l’orientation sexuelle, la collecte de ces informations y étant interdite. Ce n’est pas le cas aux États-Unis où cette collecte est autorisée et où le projet d’Algorithm Accountability Act, évalué au Congrès, prévoit l’obligation pour les plateformes de réaliser des études d’impact sur les possibles discriminations d’algorithmes touchant à des services essentiels.

Mais toutes ces règles ont un coût. Le RGPD est ainsi critiqué pour avoir aspiré les investissements numériques des entreprises européennes pendant plusieurs années pour de la mise en conformité, au détriment des investissements dans l’innovation. Il lui est aussi reproché d’ajouter de nouvelles barrières techniques et réglementaires à l’entrée de nouveaux acteurs sur ces marchés, consolidant ainsi la position de monopole des champions américains ou chinois du numérique.

Le législateur fait face à un dilemme et à des objectifs apparemment contradictoires, entre l’innovation numérique et la responsabilisation. S’il cherche à rendre l’industrie numérique plus compétitive en régulant peu, il s’expose à de multiples scandales de biais algorithmiques comme cela a pu être le cas aux États Unis dans le domaine du recrutement ou de la justice, où un algorithme d’évaluation du risque de récidive utilisé par les juges et dénoncé par l’ONG ProPublica réalisait bien plus d’erreurs dans l’évaluation des individus afro-américains que blancs.

Que proposez-vous pour aller dans le sens d'une plus grande responsabilité ?

Quelques principes important doivent à nos yeux guider la commission européenne, afin de lutter efficacement contre les biais des algorithmes.

Tout d’abord, il est primordial d’éviter une réglementation excessive et ses effets néfastes. Les lois luttant contre les discriminations, y compris dans le monde du numérique, sont nombreuses et suffisantes dans l’immense majorité des cas. Plutôt que de se demander quelles nouvelles contraintes il faudrait imposer aux plateformes, il est essentiel de faire appliquer les textes existants. Il est par ailleurs illusoire de penser que les autorités vont pouvoir effectuer des contrôles de biais, via des audits par exemple, sur l’ensemble des algorithmes de la planète. Les ressources à la disposition de la CNIL seraient bien insuffisantes ! Le retard pris par l’Europe en matière d’innovation a directement un impact sur notre souveraineté numérique. Il est nécessaire de faire émerger des géants européens du numérique en mettant en place des régulations favorables aux nouveaux entrants et aux petits acteurs à l’aide d’un marché européen numérique intégré, c’est à dire évitant autant que possible la superposition de lois numériques nationales.

Ce changement de logique devrait nécessairement être associé d’un strict contrôle par les autorités compétentes, ainsi que par la mise en place de gardes fous sur la nature et la quantité de données collectées. La collecte de données sensibles à des fins de test des algorithmes pourrait par exemple n’être autorisée que sur un échantillon.

Il faut de plus exiger davantage de transparence des plateformes, en particulier pour celles mettant en œuvre les algorithmes les plus sensibles, c’est-à-dire ceux touchant à l’accès aux services essentiels, à l’intégrité physique et mentale de la personne, ou aux droits fondamentaux. Ces algorithmes devraient s’inscrire dans un cadre ad hoc pour empêcher les biais dans lequel les obligations de transparence et les droits de recours seraient renforcés. Ce cadre devra être un savant mélange de bonnes pratiques promues par les plateformes et de régulations sectorielles précises, quand cela est nécessaire.

Enfin, le Digital Services Act devrait autant que possible privilégier des régulations ex ante, c’est à dire demander aux plateformes d’appliquer des processus et des règles claires, dont la mise en œuvre peut être contrôlée par des audits et dont les manquements peuvent être sanctionnés par des amendes, plutôt que de sanctionner in fine la présence de biais.

Ce texte européen ne viendra pas seul à bout des biais dans les algorithmes. De nombreuses solutions sont du ressort des entreprises (sur la formation des ingénieurs aux biais), de tierces parties (créer des labels pour des algorithmes selon leur auditabilité, la qualité de leurs données et l’évaluation des biais) ou encore des gouvernements nationaux (construire au sein des administrations une capacité technique à auditer des algorithmes).

Ce billet a été rédigé avec l’aide d’Arno Amabile et de Basile Thodoroff, ingénieurs du Corps des mines et rapporteurs du travail de l’Institut Montaigne, Algorithmes : contrôle des biais S.V.P.