Par Marc Eliot Stein, 10 février 2020

J'ai récemment été invité à prendre la parole lors d'un rassemblement sur la rébellion d'extinction à New York au nom de World BEYOND War. L'événement a été conçu pour réunir trois groupes d'action: les militants du changement climatique, les collectifs des travailleurs de la technologie et les militants anti-guerre. Nous avons commencé avec un récit émouvant de l'activiste du changement climatique Ha Vu, qui a raconté à la foule de New-Yorkais une expérience alarmante que peu d'entre nous ont jamais vécue: le retour au domicile de sa famille à Hanoi, au Vietnam, où chaleur accrue a déjà rendu presque impossible de marcher dehors pendant les heures de pointe du soleil. Peu d'Américains connaissent également la Catastrophe de la pollution de l'eau en 2016 à Ha Tinh dans le centre du Vietnam. Nous parlons souvent du changement climatique comme d'un problème potentiel aux États-Unis, a souligné Ha, mais au Vietnam, elle peut déjà le voir perturber des vies et des moyens de subsistance, et s'aggraver rapidement.

Nick Mottern de KnowDrones.org a parlé avec une urgence similaire du récent investissement massif de l'armée américaine dans l'intelligence artificielle futuriste et le cloud computing - et a souligné la propre conclusion de l'armée selon laquelle le déploiement de systèmes d'IA dans la gestion des armes nucléaires et la guerre des drones entraînera inévitablement des erreurs d'une ampleur imprévisible. William Beckler d'Extinction Rebellion NYC a ensuite expliqué les principes d'organisation que cette organisation importante et à croissance rapide met en œuvre, y compris des actions perturbatrices conçues pour sensibiliser à l'importance cruciale du changement climatique. Nous avons entendu un représentant de la ville de New York de Coalition des travailleurs de la technologieet j'ai essayé de faire pivoter le rassemblement vers un sentiment d'autonomisation pratique en parlant d'une action de rébellion des travailleurs de la technologie qui a connu un succès inattendu.

C'était en avril 2018, lorsque la soi-disant «industrie de la défense» bourdonnait à propos du projet Maven, une nouvelle initiative militaire américaine très médiatisée visant à développer des capacités d'intelligence artificielle pour les drones et autres systèmes d'armes. Google, Amazon et Microsoft proposent tous des plates-formes d'intelligence artificielle prêtes à l'emploi pour les clients payants, et Google était considéré comme le gagnant probable du contrat militaire Project Maven.

Début 2018, les employés de Google ont commencé à s'exprimer. Ils ne comprenaient pas pourquoi une entreprise qui les avait recrutés comme employés avec l'engagement «Don't Be Evil» soumissionnait maintenant sur des projets militaires susceptibles de ressembler à l'épisode horrible de «Black Mirror» dans lequel des chiens mécaniques alimentés par l'IA traquaient des humains êtres à mort. Ils se sont exprimés sur les réseaux sociaux et auprès des médias traditionnels. Ils ont organisé des actions et fait circuler des pétitions et se sont fait entendre.

Cette rébellion des travailleurs a été la genèse du mouvement de rébellion des travailleurs de Google, et elle a aidé à amorcer d'autres collectifs de travailleurs technologiques. Mais la chose la plus étonnante à propos de la protestation interne de Google contre le projet Maven n'était pas que les travailleurs de la technologie s'exprimaient. La chose la plus étonnante est que La direction de Google a cédé aux demandes des travailleurs.

Deux ans plus tard, ce fait m'étonne encore. J'ai vu de nombreux problèmes éthiques au cours de mes décennies en tant que technicien, mais j'ai rarement vu une grande entreprise accepter catégoriquement de résoudre les problèmes éthiques de manière significative. Le résultat de la rébellion de Google contre le projet Maven a été la publication d'un ensemble de principes de l'IA qui méritent d'être réimprimés ici dans leur intégralité:

L'intelligence artificielle chez Google: nos principes

Google aspire à créer des technologies qui résolvent des problèmes importants et aident les gens dans leur vie quotidienne. Nous sommes optimistes quant au potentiel incroyable de l'IA et d'autres technologies avancées pour autonomiser les gens, bénéficier largement aux générations actuelles et futures et travailler pour le bien commun.

Objectifs pour les applications d'IA

Nous évaluerons les applications d'IA au regard des objectifs suivants. Nous pensons que l'IA devrait:

1. Soyez socialement bénéfique.

La portée élargie des nouvelles technologies touche de plus en plus la société dans son ensemble. Les progrès de l'IA auront des effets transformateurs dans un large éventail de domaines, notamment les soins de santé, la sécurité, l'énergie, les transports, la fabrication et le divertissement. Alors que nous envisageons le développement et les utilisations potentiels des technologies de l'IA, nous prendrons en compte un large éventail de facteurs sociaux et économiques, et continuerons là où nous pensons que les avantages globaux probables dépassent largement les risques et inconvénients prévisibles.

L'IA améliore également notre capacité à comprendre la signification du contenu à grande échelle. Nous nous efforcerons de rendre les informations précises et de haute qualité facilement accessibles grâce à l'IA, tout en continuant à respecter les normes culturelles, sociales et juridiques dans les pays où nous opérons. Et nous continuerons d'évaluer soigneusement quand rendre nos technologies disponibles sur une base non commerciale.

2. Évitez de créer ou de renforcer un parti pris injuste.

Les algorithmes et les jeux de données de l'IA peuvent refléter, renforcer ou réduire les biais injustes. Nous reconnaissons qu'il n'est pas toujours simple de distinguer les préjugés justes des préjudices injustes et qu'il varie selon les cultures et les sociétés. Nous chercherons à éviter les impacts injustes sur les personnes, en particulier ceux liés à des caractéristiques sensibles telles que la race, l'ethnie, le sexe, la nationalité, le revenu, l'orientation sexuelle, les capacités et les convictions politiques ou religieuses.

3. Soyez construit et testé pour la sécurité.

Nous continuerons d'élaborer et d'appliquer de solides pratiques de sûreté et de sécurité pour éviter des résultats imprévus qui créent des risques de préjudice. Nous concevrons nos systèmes d'IA de manière à être prudents et nous chercherons à les développer conformément aux meilleures pratiques en matière de recherche sur la sécurité de l'IA. Dans les cas appropriés, nous testerons les technologies de l'IA dans des environnements contraints et surveillerons leur fonctionnement après le déploiement.

4. Rendre des comptes aux gens.

Nous concevrons des systèmes d'IA qui fourniront des opportunités appropriées de rétroaction, d'explications pertinentes et d'appel. Nos technologies d'IA seront soumises à une direction et à un contrôle humains appropriés.

5. Incorporer les principes de conception de la confidentialité.

Nous intégrerons nos principes de confidentialité dans le développement et l'utilisation de nos technologies d'IA. Nous donnerons la possibilité de notification et de consentement, encouragerons les architectures avec des garanties de confidentialité et fournirons la transparence et le contrôle appropriés sur l'utilisation des données.

6. Respectez des normes élevées d'excellence scientifique.

L'innovation technologique est ancrée dans la méthode scientifique et un engagement à ouvrir l'enquête, la rigueur intellectuelle, l'intégrité et la collaboration. Les outils d'IA peuvent ouvrir de nouveaux domaines de recherche et de connaissances scientifiques dans des domaines critiques comme la biologie, la chimie, la médecine et les sciences de l'environnement. Nous aspirons à des normes d'excellence scientifique élevées alors que nous travaillons pour faire progresser le développement de l'IA.

Nous travaillerons avec un éventail d'intervenants pour promouvoir un leadership réfléchi dans ce domaine, en nous appuyant sur des approches scientifiquement rigoureuses et multidisciplinaires. Et nous partagerons de manière responsable les connaissances en matière d'IA en publiant du matériel éducatif, des meilleures pratiques et des recherches qui permettront à davantage de personnes de développer des applications d'IA utiles.

7. Être mis à disposition pour des utilisations conformes à ces principes.

De nombreuses technologies ont de multiples utilisations. Nous travaillerons pour limiter les applications potentiellement nuisibles ou abusives. Au fur et à mesure que nous développons et déployons des technologies d'IA, nous évaluerons les utilisations probables à la lumière des facteurs suivants:

• Objectif principal et utilisation: l'objectif principal et l'utilisation probable d'une technologie et d'une application, y compris dans quelle mesure la solution est liée ou adaptable à une utilisation nocive
• Nature et caractère unique: si nous mettons à disposition une technologie unique ou plus généralement disponible
• Échelle: si l'utilisation de cette technologie aura un impact significatif
• Nature de l'implication de Google: si nous fournissons des outils à usage général, intégrons des outils pour les clients ou développons des solutions personnalisées

Applications d'IA que nous ne poursuivrons pas

En plus des objectifs ci-dessus, nous ne concevrons ni ne déploierons l'IA dans les domaines d'application suivants:

1. Technologies qui causent ou sont susceptibles de causer un préjudice global. Lorsqu'il existe un risque matériel de préjudice, nous ne procéderons que si nous pensons que les avantages l'emportent largement sur les risques et intégrerons les contraintes de sécurité appropriées.
2. Armes ou autres technologies dont le but principal ou la mise en œuvre est de causer ou de faciliter directement des blessures aux personnes.
3. Technologies qui recueillent ou utilisent des informations pour la surveillance en violation des normes internationalement acceptées.
4. Technologies dont l'objectif est contraire aux principes largement acceptés du droit international et des droits de l'homme.

À mesure que notre expérience dans cet espace s'approfondit, cette liste peut évoluer.

Conclusion

Nous pensons que ces principes sont le fondement adéquat de notre entreprise et de notre développement futur de l'IA. Nous reconnaissons que ce domaine est dynamique et évolutif, et nous aborderons notre travail avec humilité, un engagement envers l'engagement interne et externe et une volonté d'adapter notre approche au fur et à mesure que nous apprenons au fil du temps.

Ce résultat positif n'absout pas le géant de la technologie Google de sa complicité dans divers autres domaines de préoccupation majeure, tels que le soutien à l'ICE, à la police et à d'autres activités militaires, l'agrégation et la vente de l'accès aux données privées sur les individus, la dissimulation de déclarations politiques controversées des résultats des moteurs de recherche et, plus important encore, permettre à ses employés de continuer à s'exprimer sur ces questions et sur d'autres sans être licencié pour ce faire. Le mouvement de rébellion des travailleurs de Google reste actif et très engagé.

Dans le même temps, il est important de reconnaître l'impact du mouvement des travailleurs de Google. Cela est devenu immédiatement clair après le début des protestations de Google: les services marketing du Pentagone ont cessé de publier de nouveaux communiqués de presse sur le projet Maven, autrefois passionnant, et ont finalement "fait disparaître" le projet de la visibilité publique qu'il avait précédemment recherchée. Au lieu de cela, une nouvelle et beaucoup plus grande initiative d'intelligence artificielle a commencé à émerger de l'insidieux du Pentagone Conseil de l'innovation en matière de défense.

Cela s'appelait Projet JEDI, un nouveau nom pour les dépenses du Pentagone sur les armes de pointe. Le projet JEDI dépenserait beaucoup plus d'argent que le projet Maven, mais le blitz publicitaire pour le nouveau projet (oui, l'armée américaine dépense un lot de temps et d'attention sur la publicité et le marketing) était très différent du précédent. Toutes les images élégantes et sexy de «Black Mirror» avaient disparu. Maintenant, au lieu de mettre l'accent sur les horreurs dystopiques passionnantes et cinématographiques que les drones alimentés par l'IA pourraient infliger aux êtres humains, le projet JEDI s'est expliqué comme un pas en avant sobre vers l'efficacité, combinant diverses bases de données cloud afin d'aider les "combattants" (le terme préféré du Pentagone pour personnel de première ligne) et les équipes de soutien administratif maximisent l'efficacité de l'information. Là où le projet Maven a été conçu pour sembler passionnant et futuriste, le projet JEDI a été conçu pour paraître sensé et pratique.

Le prix du projet JEDI n'a rien de sensé ni de pratique. Il s'agit du plus important contrat de logiciel militaire de l'histoire du monde: 10.5 milliards de dollars. Beaucoup de nos yeux brillent lorsque nous entendons parler de barèmes de dépenses militaires, et nous pouvons sauter la différence entre des millions et des milliards. Il est essentiel de comprendre à quel point le projet JEDI est beaucoup plus grand que toute initiative logicielle précédente du Pentagone. C'est un changeur de jeu, un moteur générateur de richesse, un chèque en blanc pour faire du profit aux frais des contribuables.

Cela aide à rayer sous la surface des communiqués de presse du gouvernement lorsque vous essayez de comprendre un chèque en blanc de dépenses militaires de 10.5 milliards de dollars. Certaines informations peuvent être glanées dans les propres publications de l'armée, comme un Interview d'août 2019 avec le lieutenant-général Jack Shanahan du Joint Artificial Intelligence Center, figure clé du projet Maven disparu et du nouveau projet JEDI. J'ai pu mieux comprendre comment les initiés de l'industrie de la défense pensent du projet JEDI en écoutant un podcast de l'industrie de la défense intitulé «Projet 38: L'avenir des marchés publics». Les invités du podcast parlent souvent franchement et sans vergogne du sujet dont ils discutent. «Beaucoup de gens achèteront de nouvelles piscines cette année» était typique de la discussion d'initié de ce podcast sur le projet JEDI. Nous sommes sûrs qu'ils le seront.

Voici la chose remarquable qui renvoie aux principes d'IA de Google. Les trois pionniers évidents pour l'énorme contrat JEDI de 10.5 milliards de dollars auraient été Google, Amazon et Microsoft - dans cet ordre, en fonction de leur réputation d'innovateurs en IA. En raison des protestations des travailleurs contre le projet Maven en 2018, le chef de l'IA, Google, était hors de considération pour le projet JEDI, beaucoup plus vaste, en 2019. Fin 2019, il a été annoncé que le contrat revenait à Microsoft. Une vague de couverture médiatique a suivi, mais cette couverture s'est principalement concentrée sur la rivalité entre Amazon et Microsoft, et sur le fait que la 3e place Microsoft a probablement été autorisée à battre la 2e place Amazon pour la victoire en raison des batailles en cours entre l'administration Trump et le Washington Post, qui appartient à Jeff Bezos d'Amazon. Amazon va maintenant en justice pour lutter contre le cadeau de 10.5 milliards de dollars du Pentagone à Microsoft, et Oracle poursuit également. La remarque spécifique du podcast Project 38 mentionnée ci-dessus - «Beaucoup de gens achèteront de nouvelles piscines cette année» - se référait non seulement à la bénédiction financière de Microsoft, mais aussi à tous les avocats qui participeront à ces poursuites. Nous pouvons probablement faire une supposition éclairée que plus de 3% des 10.5 milliards de dollars du projet JEDI iront aux avocats. Dommage que nous ne puissions pas l'utiliser pour aider mettre fin à la faim dans le monde à la place.

Le différend sur la question de savoir si ce transfert de l'argent des contribuables à des entrepreneurs militaires devrait bénéficier à Microsoft, Amazon ou Oracle a dominé la couverture médiatique du projet JEDI. Le seul message positif à tirer de cette greffe obscène - le fait que Google se soit retiré du plus gros contrat de logiciel militaire de l'histoire du monde en raison de la protestation des travailleurs - a été pratiquement inexistant dans la couverture médiatique du projet JEDI. 

C'est pourquoi il était important de raconter cette histoire aux activistes axés sur la technologie qui se sont réunis la semaine dernière dans une salle bondée du centre de Manhattan pour parler de la façon dont nous pouvons sauver notre planète, comment nous pouvons lutter contre la désinformation et la politisation des sciences du climat, comment nous pouvons résister à la puissance massive des profiteurs de combustibles fossiles et des profiteurs d'armes. Dans cette petite salle, nous semblions tous saisir les dimensions du problème auquel nous étions confrontés et le rôle critique que nous devons nous-mêmes commencer à jouer. La communauté technologique a un pouvoir important. Tout comme les campagnes de désinvestissement peuvent faire une réelle différence, les rébellions des travailleurs de la technologie peuvent faire une réelle différence. Il existe de nombreuses façons pour les militants du changement climatique, les militants de la rébellion des travailleurs de la technologie et les militants anti-guerre de commencer à travailler ensemble, et nous le ferons de toutes les manières possibles.

Nous avons eu un début d'espoir avec ce rassemblement, initié utilement par Extinction Rébellion NYC ainsi que Le monde ne peut pas attendre. Ce mouvement va grandir - il doit grandir. L'abus des combustibles fossiles est au centre des protestataires du changement climatique. L'abus de combustibles fossiles est également à la fois le principal motif de profit de l'impérialisme américain et un résultat terrible et primaire des activités inutiles de l'armée américaine gonflée. En effet, l'armée américaine semble être le pire pollueur au monde. Les techniciens peuvent-ils utiliser notre pouvoir d'organisation pour des victoires encore plus percutantes que le retrait de Google du projet JEDI? Nous pouvons et nous devons. La réunion de New York la semaine dernière n'était qu'un tout petit pas en avant. Nous devons faire plus et nous devons donner à notre mouvement de protestation combiné tout ce que nous avons.

Marc Eliot Stein est directeur de la technologie et des médias sociaux pour World BEYOND War.

Photo de Gregory Schwedock.