Des "gourous" de l'intelligence artificielle appellent à une réglementation alors que les groupes de défense des droits avertissent que l'IA est synonyme d'oppression

Democracy now ! — 2023-06-06T11:30:00Z

Nous organisons une table ronde avec trois experts en intelligence artificielle sur les préoccupations croissantes concernant les dangers potentiels de la technologie. Yoshua Bengio, connu comme l'un des trois "gourous de l'IA", est professeur à l'Université de Montréal et fondateur et directeur scientifique de l'Institut d'intelligence artificielle Mila-Québec. M. Bengio est également signataire de la lettre ouverte du Future of Life Institute appelant à une pause dans les expériences d'IA à grande échelle. Il est rejoint sur Democracy Now ! par Tawana Petty, directrice des politiques et porte-parole de l'Algorithmic Justice League, une organisation dédiée à la sensibilisation aux méfaits de l'IA, en particulier son encodage du racisme, du sexisme et d'autres formes d'oppression, et par Max Tegmark, professeur au MIT et président du Future of Life Institute, qui vise à aborder le risque existentiel de l'IA pour l'humanité.

1 juin 2023 |tiré de democracy now !
https://www.democracynow.org/2023/6/1/ai_bengio_petty_tegmark

AMY GOODMAN : Ici Democracy Now !, democracynow.org, The War and Peace Report. Je suis Amy Goodman, avec Nermeen Shaikh.

Nous commençons l'émission d'aujourd'hui en nous penchant sur l'inquiétude croissante concernant le potentiel de l'intelligence artificielle à conduire à l'extinction de l'humanité. La dernière mise en garde en date émane de centaines d'experts en intelligence artificielle (IA), de dirigeants d'entreprises technologiques, d'universitaires et d'autres personnes, comme l'activiste climatique Bill McKibben, qui ont signé une déclaration inquiétante publiée mardi et qui se lit comme suit : "L'atténuation du risque d'extinction lié à l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire." Parmi les signataires de la lettre, publiée par le Center for AI Safety, figure Geoffrey Hinton, considéré comme l'un des trois "gouroux de l'IA". Il a récemment quitté Google pour pouvoir parler librement des dangers de la technologie qu'il a contribué à mettre au point, comme l'intelligence artificielle générale (AGI), dans laquelle les machines pourraient développer des capacités cognitives proches ou supérieures à celles de l'homme plus tôt qu'on ne le pensait.

GEOFFREY HINTON : J'ai toujours pensé que le cerveau était meilleur que les modèles informatiques dont nous disposions. Et j'avais toujours pensé qu'en rendant les modèles informatiques plus proches du cerveau, nous les améliorerions. Il y a quelques mois, j'ai soudain réalisé que les modèles informatiques dont nous disposons actuellement sont peut-être meilleurs que le cerveau. Et si c'est le cas, ils seront peut-être bientôt meilleurs que nous, de sorte que l'idée de superintelligence, au lieu d'être quelque chose dans un avenir lointain, pourrait arriver beaucoup plus tôt que je ne le pensais. ...
En ce qui concerne la menace existentielle, l'idée qu'elle pourrait tous nous anéantir, c'est comme les armes nucléaires, parce que les armes nucléaires ont la possibilité d'anéantir tout le monde. C'est pourquoi les gens pourraient coopérer pour empêcher cela. En ce qui concerne la menace existentielle, je pense que les États-Unis, la Chine, l'Europe et le Japon peuvent coopérer pour tenter de l'éviter. Mais la question est de savoir comment ils doivent s'y prendre. Et je pense qu'il est impossible d'arrêter le développement.

AMY GOODMAN : Nombreux sont ceux qui ont appelé à une pause dans l'introduction de nouvelles technologies d'IA jusqu'à ce qu'une réglementation gouvernementale stricte et un cadre réglementaire mondial soient en place.
Un deuxième parrain de l'IA, Yoshua Bengio, s'est joint à M. Hinton pour signer la lettre. Professeur à l'Université de Montréal, il est le fondateur et le directeur scientifique de l'Institut d'intelligence artificielle du Québec (Mila). En 2018, il a partagé le prestigieux prix d'informatique, le prix Turing, avec Geoffrey Hinton et Yann LeCun.
Le professeur Bengio est l'un des signataires de la lettre ouverte du Future of Life Institute appelant à une pause dans les grandes expériences d'IA.
Professeur Bengio, bienvenue à Democracy Now ! C'est un plaisir de vous avoir avec nous pour parler d'un sujet que la plupart des gens n'arrivent pas à comprendre. Pourriez-vous commencer par nous expliquer pourquoi vous avez signé cette lettre mettant en garde contre l'extinction de l'humanité ? Mais parlons d'abord de ce qu'est l'IA.

OSHUA BENGIO : Merci de m'accueillir. Et merci de parler de cette question complexe qui nécessite une plus grande prise de conscience.

La raison pour laquelle j'ai signé ce document - et comme Geoff, j'ai changé d'avis au cours des derniers mois. Ce qui a déclenché ce changement pour moi, c'est l'interaction avec ChatGPT et le fait de voir à quel point nous avions progressé, bien plus vite que je ne l'avais prévu. J'avais l'habitude de penser qu'il faudrait encore des décennies, voire des siècles, pour parvenir à une intelligence de niveau humain avec des machines, parce que les progrès de la science semblaient, eh bien, lents. Et nous étions - en tant que chercheurs, nous avons tendance à nous concentrer sur ce qui ne fonctionne pas. Mais aujourd'hui, nous avons des machines qui réussissent ce qu'on appelle le test de Turing, ce qui signifie qu'elles peuvent converser avec nous et qu'elles pourraient facilement nous faire passer pour des humains. C'était censé être une étape importante vers une intelligence de niveau humain.

Je pense qu'il manque encore quelques éléments, mais ce type de technologie pourrait déjà être dangereux pour déstabiliser la démocratie par le biais de la désinformation, par exemple. Mais en raison des recherches actuellement en cours pour combler le fossé avec ce qui manque aux grands modèles de langage actuels, aux grands systèmes d'IA, il est possible que l'horizon que je voyais à plusieurs décennies dans le futur ne soit que de quelques années dans le futur. Et cela pourrait être très dangereux. Il suffit qu'une petite organisation ou quelqu'un avec des croyances folles, une théorie de la conspiration, des terroristes, une organisation militaire décide d'utiliser cela sans les bons mécanismes de sécurité, et cela pourrait être catastrophique pour l'humanité.

NERMEEN SHAIKH : Professeur Yoshua Bengio, il serait donc exact de dire que la raison pour laquelle l'intelligence artificielle et les inquiétudes qu'elle suscite sont devenues le centre du débat public comme elles ne l'étaient pas auparavant, c'est que les progrès réalisés dans ce domaine ont surpris même ceux qui y participent et les principaux chercheurs qui y travaillent. Pourriez-vous nous en dire plus sur la question de la superintelligence, et en particulier sur les inquiétudes soulevées par la superintelligence non alignée, ainsi que sur la vitesse à laquelle nous parviendrons probablement à une superintelligence non alignée ?

YOSHUA BENGIO : Oui. La raison pour laquelle c'est surprenant, c'est que dans les systèmes actuels, d'un point de vue scientifique, les méthodes utilisées ne sont pas très différentes de celles que nous connaissions il y a seulement quelques années. C'est l'échelle à laquelle ils ont été construits, la quantité de données, la quantité d'ingénierie, qui ont rendu possibles ces progrès vraiment surprenants. Nous pourrions donc connaître des progrès similaires à l'avenir en raison de l'échelle des choses.

Maintenant, le problème - tout d'abord, vous savez, il y a une question importante - pourquoi sommes-nous préoccupés par la superintelligence ? Tout d'abord, la question est de savoir s'il est possible de construire des machines plus intelligentes que nous. Le consensus au sein de la communauté scientifique, par exemple du point de vue des neurosciences, est que notre cerveau est une machine très compliquée, et qu'il n'y a donc aucune raison de penser qu'en principe, nous ne pourrions pas construire des machines qui seraient au moins aussi intelligentes que nous. Reste à savoir combien de temps cela prendra. Mais nous en avons déjà parlé. En outre, comme le disait Geoff Hinton dans l'article que nous avons écouté, les ordinateurs ont des avantages que les cerveaux n'ont pas. Par exemple, ils peuvent se parler à très, très grande vitesse et échanger des informations. En ce qui nous concerne, nous sommes limités par les quelques bits d'information par seconde que le langage nous permet d'échanger. Et cela leur donne un énorme avantage pour apprendre beaucoup plus vite. Ainsi, par exemple, ces systèmes peuvent déjà lire tout l'internet très, très rapidement, alors qu'un humain aurait besoin de 10 000 ans de sa vie à lire tout le temps pour arriver à la même chose. Ils peuvent donc avoir accès à l'information et au partage de l'information d'une manière que les humains ne peuvent pas avoir. Il est donc très probable qu'à mesure que nous progressons dans la compréhension des principes qui sous-tendent l'intelligence humaine, nous serons en mesure de construire des machines plus intelligentes que nous.

Pourquoi est-ce dangereux ? Parce que si elles sont plus intelligentes que nous, elles pourraient agir d'une manière qui n'est pas - qui n'est pas conforme à nos intentions, à ce que nous voulons qu'elles fassent. Et ce pour plusieurs raisons, mais cette question de l'alignement est qu'il est en fait très difficile de dire - d'ordonner à une machine de se comporter d'une manière qui corresponde à nos valeurs, à nos besoins et ainsi de suite. Nous pouvons le dire en langage, mais cela peut être compris différemment, et cela peut conduire à des catastrophes, comme cela a été dit à maintes reprises.

Mais c'est quelque chose qui se produit déjà - je veux dire que ce problème d'alignement se produit déjà. Ainsi, par exemple, on peut penser que les entreprises ne sont pas tout à fait conformes aux souhaits de la société. La société voudrait que les entreprises fournissent des biens et des services utiles, mais nous ne pouvons pas leur dicter cela directement. Au lieu de cela, nous leur avons donné un cadre dans lequel elles maximisent leurs profits sous la contrainte des lois, ce qui peut fonctionner raisonnablement mais aussi avoir des conséquences négatives.

Ce genre de choses peut se produire avec les systèmes d'intelligence artificielle que nous essayons de contrôler. Ils pourraient trouver des moyens de satisfaire à la lettre de nos instructions, mais pas à l'intention, à l'esprit de la loi. C'est très inquiétant. Nous ne comprenons pas entièrement comment ces scénarios peuvent se dérouler, mais il y a suffisamment de danger et d'incertitude pour que l'on accorde beaucoup d'attention - plus d'attention - à ces questions.

NERMEEN SHAIKH : Pourriez-vous nous dire si vous pensez qu'il sera difficile de réglementer ce secteur, l'intelligence artificielle, malgré toutes les avancées qui ont déjà eu lieu ? À quel point la réglementation sera-t-elle difficile ?

YOSHUA BENGIO : Même si quelque chose semble difficile, comme la lutte contre le changement climatique, et même si nous pensons qu'il est difficile de faire le travail et de convaincre suffisamment de personnes et la société de changer dans le bon sens, nous avons le devoir moral de faire de notre mieux.

En ce qui concerne les risques liés à l'IA, la première chose à faire est de réglementer, de mettre en place des cadres de gouvernance, à la fois dans les différents pays et au niveau international. Une fois que nous aurons fait cela, ce sera utile pour tous les risques liés à l'IA - parce que nous avons beaucoup parlé du risque d'extinction, mais il y a d'autres risques qui sont à plus court terme, des risques de déstabilisation de la démocratie. Si la démocratie est déstabilisée, c'est mauvais en soi, mais cela va également nuire à notre capacité à lutter contre le risque existentiel.

Et puis il y a d'autres risques liés à l'IA : la discrimination, les préjugés, la protection de la vie privée, etc. Nous devons donc renforcer cet organe législatif et réglementaire. Et ce dont nous avons besoin, c'est d'un cadre réglementaire qui sera très adaptatif, parce qu'il y a beaucoup d'inconnu. Ce n'est pas comme si nous savions exactement comment les choses peuvent mal tourner. Nous devons en faire beaucoup plus en termes de surveillance, de validation et de contrôle de l'accès, afin qu'aucun acteur mal intentionné ne puisse facilement mettre la main sur des technologies dangereuses. Et nous avons besoin que l'organisme qui réglementera, ou les organismes du monde entier, soient en mesure de modifier leurs règles à mesure que de nouveaux utilisateurs malveillants apparaissent ou que la technologie progresse. C'est un défi, mais je pense que nous devons aller dans cette direction.

AMY GOODMAN : J'aimerais que Max Tegmark participe à la conversation. Max Tegmark est professeur au MIT et se consacre à l'intelligence artificielle. Il a récemment publié un article dans le magazine Time intitulé "The 'Don't Look Up' Thinking That Could Doom Us With AI" (La pensée qui consiste à ne pas regarder en l'air et qui pourrait nous condamner avec l'intelligence artificielle).
Pouvez-vous nous expliquer ce point, professeur Tegmark ?

MAX TEGMARK : Oui.

AMY GOODMAN : Et aussi pourquoi vous pensez qu'en ce moment - vous savez, beaucoup de gens ont entendu le terme ChatGPT pour la première fois au cours des derniers mois. Le grand public en a pris conscience. Et comment pensez-vous qu'il est le plus efficace de réglementer la technologie de l'IA ?

MAX TEGMARK : Oui. Merci pour cette excellente question.

J'ai écrit cet article en comparant ce qui se passe actuellement dans le domaine de l'IA au film Don't Look Up, parce que je pense vraiment que nous vivons tous ce film. Nous sommes, en tant qu'espèce, confrontés à la chose la plus dramatique qui nous soit jamais arrivée, où nous sommes peut-être en train de perdre le contrôle de notre avenir, et presque personne n'en parle. Je vous suis donc très reconnaissante, à vous et à d'autres, d'avoir entamé cette conversation. Et c'est, bien sûr, la raison pour laquelle nous avons eu ces lettres ouvertes que vous venez d'évoquer, pour vraiment aider à intégrer cette conversation que nous devons avoir, que les gens utilisaient auparavant pour se moquer de vous lorsque vous évoquiez l'idée que nous pourrions perdre le contrôle de notre avenir et disparaître, par exemple.

NERMEEN SHAIKH : Professeur Tegmark, vous avez fait des analogies, en fait, en ce qui concerne la réglementation, avec les réglementations qui ont été mises en place pour la biotechnologie et la physique. Pourriez-vous nous expliquer comment cela pourrait s'appliquer à l'intelligence artificielle ?

MAX TEGMARK : Oui. Pour se rendre compte de l'ampleur de la situation, lorsque les plus grands scientifiques de l'intelligence artificielle mettent en garde contre l'extinction, il est bon de comparer avec les deux autres fois dans l'histoire où cela s'est produit, où des scientifiques de premier plan ont mis en garde contre la chose même qu'ils étaient en train de créer. Cela s'est produit une première fois dans les années 1940, lorsque les physiciens ont commencé à mettre en garde contre l'Armageddon nucléaire, et une seconde fois au début des années 1970, lorsque les biologistes ont déclaré : "Hé, peut-être ne devrions-nous pas commencer à fabriquer des clones d'êtres humains et à modifier l'ADN de nos bébés".

En effet, dans les années 70, on estimait qu'il était tellement risqué de perdre le contrôle de notre espèce que nous avons décidé, en tant que société mondiale, de ne pas faire de clonage humain et de ne pas modifier l'ADN de notre progéniture. Et nous voilà avec une industrie biotechnologique florissante qui fait tant de bien dans le monde.

La leçon à tirer pour l'IA est donc que nous devrions nous rapprocher de la biologie. Nous devrions reconnaître qu'en biologie, aucune entreprise n'a le droit de lancer un nouveau médicament et de commencer à le vendre dans les supermarchés sans avoir au préalable convaincu les experts du gouvernement qu'il est sans danger. C'est pourquoi nous avons la Food and Drug Administration aux États-Unis, par exemple. En ce qui concerne les utilisations particulièrement risquées de l'IA, nous devrions aspirer à quelque chose de très similaire, où il incombe réellement aux entreprises de prouver que quelque chose d'extrêmement puissant est sûr, avant qu'il ne soit déployé.

AMY GOODMAN : À l'automne dernier, le Bureau de la politique scientifique et technologique de la Maison Blanche a publié un projet de charte des droits de l'IA, intitulé "Une vision pour protéger nos droits civils à l'ère des algorithmes". Cette publication intervient dans un contexte de sensibilisation croissante aux préjugés raciaux intégrés dans l'intelligence artificielle et à leur impact sur l'utilisation des programmes de reconnaissance faciale par les forces de l'ordre, entre autres. Je souhaite associer à cette conversation, avec les professeurs Tegmark et Bengio, Tawana Petty, directrice de la politique et du plaidoyer à l'Algorithm Justice League, militante de longue date des droits numériques et des droits des données.
Tawana Petty, bienvenue sur Democracy Now ! Vous ne mettez pas seulement les gens en garde contre l'avenir ; vous parlez des utilisations actuelles de l'IA et de la manière dont elles peuvent être discriminatoires sur le plan racial. Pouvez-vous nous expliquer ?

TAWANA PETTY : Oui. Merci de m'accueillir, Amy. Tout à fait. Je dois dire que les contradictions ont été renforcées par le fait que les gouroux de l'IA et d'autres se sont exprimés et ont écrit ces lettres particulières qui parlent de ces dommages potentiels à venir. Cependant, de nombreuses femmes ont mis en garde contre les méfaits actuels de l'intelligence artificielle depuis de nombreuses années - Timnit Gebru, le Dr Joy Buolamwini et tant d'autres, Safiya Noble, Ruha Benjamin, etc. - et le Dr Alondra Nelson, que vous venez de mentionner, le Blueprint for an AI Bill of Rights, qui demande cinq principes fondamentaux : des systèmes sûrs et efficaces, des protections contre la discrimination algorithmique, la confidentialité des données, la notification et l'explication, et la prise en compte d'alternatives humaines et de solutions de repli.

Ainsi, à l'Algorithmic Justice League, nous répondons aux préjudices existants de la discrimination algorithmique qui remontent à de nombreuses années avant cette conversation de rafraîchissement narratif des plus robustes qui a eu lieu ces derniers mois avec l'intelligence artificielle générale. Ainsi, nous constatons déjà des préjudices liés à la discrimination algorithmique en médecine. Nous constatons la surveillance omniprésente des forces de l'ordre qui utilisent des systèmes de reconnaissance faciale pour cibler les membres de la communauté lors des manifestations, réduisant ainsi non seulement nos libertés civiles et nos droits à l'organisation et à la protestation, mais aussi les erreurs d'identification qui se produisent en ce qui concerne les fausses arrestations, dont deux cas très importants ont été signalés à Détroit.

Il y a donc de nombreux exemples de préjudices existants pour lesquels il aurait été vraiment formidable d'entendre ces voix d'hommes majoritairement blancs qui travaillent dans l'industrie technologique et qui n'ont pas prêté attention aux voix de toutes ces femmes qui ont soulevé ces questions il y a de nombreuses années. Et ils parlent de ces risques futurs possibles, alors qu'il y a tant de risques qui se produisent aujourd'hui.

NERMEEN SHAIKH : Professeur Max Tegmark, pourriez-vous répondre à ce qu'a dit Tawana Petty, et au fait que d'autres ont également dit que les risques ont été largement exagérés dans cette lettre, et, plus important encore, compte tenu de ce que Tawana a dit, que cela détourne l'attention des effets déjà existants de l'intelligence artificielle, qui sont déjà largement utilisés ?

MAX TEGMARK : Je pense qu'il s'agit d'une question très importante. Certains disent que l'un de ces risques détourne l'attention d'autres risques. Je soutiens fermement tout ce que nous avons entendu ici de la part de Tawana. Je pense qu'il s'agit de problèmes très importants, d'exemples montrant que nous donnons déjà trop de contrôle aux machines. Mais je ne suis pas du tout d'accord pour dire que nous devrions choisir de nous préoccuper d'un type de risque ou d'un autre. C'est comme dire que nous devrions arrêter de travailler sur la prévention du cancer parce que cela nous détourne de la prévention des accidents vasculaires cérébraux.

Il s'agit de risques extrêmement importants. J'ai également beaucoup parlé des risques liés à la justice sociale et des menaces. Et, vous savez, cela fait le jeu des lobbyistes de la technologie, s'ils peuvent - donner l'impression qu'il y a des luttes intestines entre ceux qui essaient de freiner les Big Tech pour une raison et ceux qui essaient de freiner les Big Tech pour d'autres raisons. Travaillons tous ensemble et réalisons que la société - tout comme la société peut travailler à la fois sur la prévention du cancer et sur la prévention des accidents vasculaires cérébraux. Nous disposons des ressources nécessaires. Nous devrions être en mesure de traiter toutes les questions cruciales de justice sociale et de nous assurer que nous ne disparaîtrons pas.

L'extinction n'est pas une éventualité très lointaine, comme nous l'a dit Yoshua Bengio. Nous pourrions perdre le contrôle total de notre société dans un avenir relativement proche. Cela peut arriver dans les prochaines années. Cela pourrait se produire dans une décennie. Une fois que nous aurons tous disparu, tous ces autres problèmes cesseront d'avoir de l'importance. Travaillons ensemble, attaquons-nous à tous les problèmes, afin que nous puissions avoir un bon avenir pour tout le monde.

AMY GOODMAN : Tawana Petty, et ensuite Yoshua Bengio - Tawana Petty, que doit-il se passer au niveau national, vous savez, la réglementation américaine ? Ensuite, je voudrais comparer ce qui se passe ici, ce qui se passe dans la réglementation canadienne, l'UE, l'Union européenne, qui semble être sur le point de mettre en place le premier ensemble complet de réglementations, Tawana.

TAWANA PETTY : Oui, absolument. Le projet était donc un bon modèle pour commencer, et nous voyons certains États l'adopter et essayer de déployer leurs versions d'une Charte des droits de l'IA. Le président a publié un décret visant à renforcer l'équité raciale et à soutenir les communautés mal desservies dans l'ensemble du gouvernement fédéral, qui traite spécifiquement de la discrimination algorithmique. Le National Institute of Standards and Technology a publié un cadre de gestion des risques liés à l'IA, qui décompose les différents types de biais que nous trouvons dans les systèmes algorithmiques, tels que les biais informatiques, systémiques, statistiques et cognitifs humains.

Et il y a tant d'autres opportunités législatives qui se présentent au niveau fédéral. La Commission fédérale du commerce (FTC) s'exprime sur la discrimination algorithmique. L'Equal Employment Opportunity Corporation a publié des déclarations. Le Bureau de protection financière des consommateurs (Consumer Financial Protection Bureau) s'est montré intransigeant quant à l'impact des systèmes algorithmiques sur nous lorsque les courtiers en données amassent ces quantités massives de données extraites des membres de la communauté.

Je suis donc d'accord pour dire qu'une certaine collaboration et coopération est nécessaire, mais nous avons vu des situations comme celle où le Dr Timnit Gebru a été licencié par Google pour nous avoir avertis avant que ChatGPT ne soit lancé sur des millions de personnes en tant que modèle de langage de grande envergure. La coopération n'a donc pas manqué du côté des personnes qui travaillent dans le domaine de l'éthique. Au contraire, ces entreprises ont licencié leurs départements d'éthique et les personnes qui les avaient mis en garde contre les préjudices existants

AMY GOODMAN : Et, Professeur Bengio, si vous pouviez parler du niveau de réglementation et de ce que vous pensez qu'il faut faire, et qui propose des modèles qui, selon vous, pourraient être efficaces ?

YOSHUA BENGIO : Tout d'abord, j'aimerais apporter une correction. Cela fait de nombreuses années que je m'efforce de lutter contre l'impact social négatif de l'IA. En 2016, j'ai travaillé sur la Déclaration de Montréal pour le développement responsable de l'IA, qui est très axée sur l'éthique et l'injustice sociale. Et depuis, j'ai créé une organisation, le département AI for Humanity, au sein du centre de recherche que je dirige, qui est entièrement axé sur les droits de l'homme. Je pense donc que ces accusations sont tout simplement fausses.

Et comme le disait Max, nous n'avons pas à choisir entre la lutte contre le cancer et la lutte contre les maladies cardiaques. Nous devons faire tout cela. Mais mieux encore, ce qui est nécessaire à court terme, au moins, l'élaboration de ces réglementations va contribuer à atténuer tous ces risques. Je pense donc que nous devrions vraiment travailler ensemble plutôt que de nous accuser.

NERMEEN SHAIKH : Professeur Bengio, j'aimerais vous interroger sur certains des travaux que vous avez réalisés en matière de droits de l'homme et d'intelligence artificielle. Au début du mois, une conférence sur l'intelligence artificielle s'est tenue à Kigali, au Rwanda, et vous avez fait partie de ceux qui ont fait pression pour que cette conférence ait lieu en Afrique.

YOSHUA BENGIO : C'est exact.

NERMEEN SHAIKH : Pourriez-vous expliquer ce qui s'est passé lors de cette conférence - 2 000 personnes, je crois, y ont assisté - et ce que les chercheurs et scientifiques africains avaient à dire, vous savez, sur les biens, le bien public qui pourrait découler de l'intelligence artificielle, et pourquoi ils pensaient, en fait - l'une des questions qui a été soulevée est : Pourquoi n'y a-t-il pas eu plus de discussions sur le bien public, plutôt que simplement sur les risques immédiats ou futurs ?

YOSHUA BENGIO : Oui. Outre les questions d'éthique, j'ai beaucoup travaillé sur les applications de l'IA dans le domaine de ce que l'on appelle l'IA pour le bien social. Cela comprend des applications médicales, environnementales et de justice sociale. Dans ces domaines, il est particulièrement important que nous fassions entendre la voix des personnes qui pourraient le plus bénéficier, mais aussi le plus souffrir, du développement de l'IA. En particulier, les voix des Africains n'ont pas été très présentes. Comme nous le savons, cette technologie a surtout été développée dans les pays riches de l'Occident.

C'est pourquoi, en tant que membre du conseil d'administration de la conférence de l'ICLR, qui est l'une des principales conférences dans ce domaine, j'ai fait pression pendant de nombreuses années pour que l'événement ait lieu en Afrique. Cette année, c'était donc la première, après - Amy, elle devait avoir lieu avant la pandémie, mais elle a été repoussée. Et ce que nous avons vu, c'est une présence étonnante de chercheurs et d'étudiants africains à des niveaux que nous ne pouvions pas voir auparavant.

Et la raison - je veux dire, il y a de nombreuses raisons, mais c'est surtout une question d'accessibilité. Actuellement, dans de nombreux pays occidentaux, les visas pour les chercheurs africains ou des pays en développement sont très difficiles à obtenir. Je me suis battu, par exemple, contre le gouvernement canadien il y a quelques années, lorsque nous avons organisé la conférence NeurIPS au Canada, et des centaines de chercheurs africains se sont vu refuser un visa, et nous avons dû nous y prendre un par un pour essayer de les faire venir.

Je pense donc qu'il est important que les décisions que nous allons prendre collectivement, et qui concernent tous les habitants de la Terre, au sujet de l'IA soient prises de la manière la plus inclusive possible. C'est pourquoi nous ne devons pas seulement réfléchir à ce qui se passe aux États-Unis ou au Canada, mais dans le monde entier. Nous ne devons pas seulement réfléchir aux risques de l'IA dont nous avons discuté aujourd'hui, mais aussi à la manière d'investir davantage dans des domaines d'application où les entreprises ne vont pas, peut-être parce que ce n'est pas rentable, mais qu'il est vraiment important d'aborder - par exemple, les objectifs de développement durable des Nations unies - et d'aider à réduire la misère et à traiter, par exemple, les problèmes médicaux qui ne sont pas présents en Occident, mais qui sont des maladies infectieuses qui touchent principalement les pays les plus pauvres.

AMY GOODMAN : Pouvez-vous nous parler, Professeur Bengio, de l'IA et non seulement de la guerre nucléaire, mais aussi, par exemple, de la question sur laquelle Jody Williams, le lauréat du prix Nobel, essaie d'attirer l'attention depuis des années, les robots tueurs, qui peuvent tuer à mains nues ? Toute la question de l'IA en matière de guerre et de qui combat...

YOSHUA BENGIO : Oui.

AMY GOODMAN : - ces guerres ?

YOSHUA BENGIO : Oui. C'est aussi quelque chose dans lequel je suis activement impliqué depuis de nombreuses années, des campagnes de sensibilisation au danger des robots tueurs, également connus, plus précisément, sous le nom d'armes autonomes létales. Il y a cinq ou dix ans, cela ressemblait encore à de la science-fiction. Mais, en fait, des rapports indiquent que des drones ont été équipés de capacités d'IA, en particulier de capacités de vision par ordinateur, de reconnaissance faciale, qui ont été utilisées sur le terrain en Syrie, et peut-être que cela se produit en Ukraine. C'est donc quelque chose que nous savons déjà construire. Nous connaissons la science qui sous-tend la construction de ces drones tueurs - pas des robots tueurs. Nous ne savons pas encore comment construire des robots qui fonctionnent vraiment bien.

Mais si vous prenez des drones, que nous savons piloter de manière relativement autonome, et si ces drones sont équipés d'armes et de caméras, alors l'IA pourrait être utilisée pour cibler le drone sur des personnes spécifiques et tuer de manière illégale des cibles spécifiques. C'est extrêmement dangereux. Cela pourrait déstabiliser l'équilibre militaire que nous connaissons aujourd'hui. Je ne pense pas que les gens y prêtent suffisamment attention.

En ce qui concerne le risque existentiel, le vrai problème est que si l'IA superintelligente contrôle également des armes dangereuses, il nous sera très difficile de réduire les risques catastrophiques. Nous ne voulons pas mettre des armes entre les mains de personnes instables ou d'enfants qui pourraient agir de manière dangereuse. Et c'est le même problème ici.

NERMEEN SHAIKH : Professeur Tegmark, si vous pouviez répondre à cette question des utilisations militaires - des utilisations militaires possibles de l'intelligence artificielle, et le fait, par exemple, que la Chine est maintenant - une étude Nikkei, l'étude de la publication japonaise, a conclu plus tôt cette année que, en fait, la Chine produit plus d'articles de recherche sur l'intelligence artificielle que les États-Unis. Vous avez dit, bien sûr, qu'il ne s'agit pas d'une course aux armements, mais plutôt d'une course au suicide. Pourriez-vous nous parler des réglementations déjà mises en place par le gouvernement chinois sur les applications de l'intelligence artificielle, par rapport à celles de l'UE et des États-Unis ?

MAX TEGMARK : C'est une excellente question. Je pense que le changement récent, cette semaine, lorsque l'idée de l'extinction par l'IA est devenue courante, va en fait aider la rivalité géopolitique entre l'Est et l'Ouest à devenir plus harmonieuse, parce que, jusqu'à présent, la plupart des décideurs politiques ont simplement considéré l'IA comme quelque chose qui vous donne un grand pouvoir, donc tout le monde voulait l'avoir en premier. L'idée était que celui qui obtiendrait une intelligence artificielle générale capable de surpasser les humains gagnerait d'une certaine manière. Mais maintenant que l'IA se généralise, l'idée qu'en fait, tout le monde pourrait facilement devenir perdant et que les grands gagnants seraient les machines qui resteraient après notre extinction, donne soudain des incitations au gouvernement chinois, au gouvernement américain et aux gouvernements européens qui sont alignés, parce que le gouvernement chinois ne veut pas perdre le contrôle de sa société, pas plus que n'importe quel gouvernement occidental.

C'est pour cette raison que la Chine a déjà imposé des restrictions plus sévères à ses propres entreprises technologiques que nous ne l'avons fait pour les entreprises américaines. Et ce n'est pas parce que nous - nous n'avons donc pas à persuader les Chinois, en d'autres termes, de prendre des précautions, parce qu'il n'est pas dans leur intérêt de disparaître. Vous savez, peu importe que vous soyez américain ou canadien [inaudible], une fois que vous aurez disparu.

AMY GOODMAN : Je sais, Professeur -

MAX TEGMARK : Et je devrais ajouter, pour que cela ne semble pas être une hyperbole, que cette idée d'extinction, cette idée que tout le monde sur Terre pourrait mourir, il est important de se rappeler qu'environ la moitié des espèces sur cette planète qui étaient là, vous savez, il y a mille, quelques milliers d'années, ont déjà été éteintes par les humains, n'est-ce pas ? L'extinction se produit donc.

Et il est également important de se rappeler pourquoi nous avons fait disparaître toutes ces autres espèces. Ce n'est pas nécessairement parce que nous détestions le rhinocéros noir d'Afrique de l'Ouest ou certaines espèces qui vivaient dans les récifs coralliens. Vous savez, lorsque nous avons abattu les forêts tropicales ou détruit les récifs coralliens à cause du changement climatique, il s'agissait en quelque sorte d'un effet secondaire. Nous voulions simplement des ressources. Nous avions d'autres objectifs qui ne correspondaient pas à ceux des autres espèces. Parce que nous étions plus intelligents qu'elles, elles étaient impuissantes à nous arrêter.

C'est exactement ce que Yoshua Bengio mettait en garde pour l'humanité. Si nous perdons le contrôle de notre planète au profit d'entités plus intelligentes et que leurs objectifs ne sont pas alignés sur les nôtres, nous serons impuissants à empêcher les changements massifs qu'elles pourraient apporter à notre biosphère ici sur Terre. C'est ainsi que nous risquons d'être anéantis, comme l'a été l'autre moitié de l'espèce. Ne faisons pas cela.

L'IA peut nous apporter tellement de bienfaits, tellement de choses merveilleuses, si nous travaillons ensemble pour l'exploiter et l'orienter dans la bonne direction - guérir toutes ces maladies qui nous ont laissés dans l'impasse, sortir les gens de la pauvreté, stabiliser le climat et aider la vie sur Terre à s'épanouir pendant très, très, très longtemps. J'espère qu'en sensibilisant les gens aux risques, nous pourrons travailler ensemble pour construire ce grand avenir avec l'IA.

AMY GOODMAN : Enfin, Tawana Petty, nous sommes à New York, et le maire de la ville de New York, Eric Adams, a annoncé que la police de New York allait acquérir de nouveaux chiens robotisés semi-autonomes au cours de la période à venir. Vous vous êtes particulièrement intéressé à leur utilisation et à leur utilisation discriminatoire dans les communautés de couleur. Pouvez-vous répondre à cette question ?

TAWANA PETTY : Oui, et je dirai aussi que la ville de Ferndale, dans le Michigan, où j'habite, a également acquis des chiens robots. Il s'agit donc de situations qui se produisent actuellement sur le terrain, et d'une organisation, les forces de l'ordre, qui souffre encore de préjugés raciaux systémiques avec des communautés marginalisées surpoliciarisées et hypersurveillées. Il s'agit donc de robots qui ont maintenant la possibilité de surveiller et de contrôler des communautés déjà hypersurveillées.

Amy, je voudrais juste avoir l'occasion de répondre brièvement aux commentaires précédents. Mon commentaire n'a pas pour but d'attaquer les efforts existants, les efforts antérieurs ou les années de travail de ces deux messieurs. Je respecte grandement les efforts déployés pour lutter contre l'inégalité raciale et l'éthique dans le domaine de l'intelligence artificielle. Et je suis d'accord pour dire que nous devons collaborer afin de résoudre les problèmes que nous connaissons. Des personnes meurent déjà de discrimination en matière de santé à cause d'algorithmes. Des personnes sont déjà mal identifiées par la police grâce à la reconnaissance faciale. Les services publics font appel à des sociétés comme ID.me pour utiliser la reconnaissance faciale afin d'accéder aux prestations. Nous avons donc de nombreuses possibilités de collaborer pour prévenir les menaces auxquelles nous sommes actuellement confrontés.

AMY GOODMAN : Tawana Petty, je vous remercie d'être avec nous, ainsi que le directeur de la politique et du plaidoyer de l'Algorithmic Justice League, qui nous parle depuis Détroit ; Yoshua Bengio, fondateur et directeur scientifique de Mila - l'Institut québécois de l'IA, considéré comme l'un des "gorous de l'IA", qui nous parle depuis Montréal ; et Max Tegmark, professeur au MIT. Nous ferons un lien vers votre article paru dans le magazine Time, intitulé "The 'Don't Look Up' Thinking That Could Doom Us With AI" (La pensée qui consiste à ne pas regarder en l'air et qui pourrait nous condamner à cause de l'IA). Nous vous remercions tous d'avoir été avec nous.

Traduit avec www.DeepL.com/Translator (version gratuite)

Presse-toi à gauche !

Des "gourous" de l'intelligence artificielle appellent à une réglementation alors que les groupes de défense des droits avertissent que l'IA est synonyme d'oppression