Por Marc Eliot Stein, 10 de fevereiro de 2020

Recentemente, fui convidado para falar em uma reunião da Extinction Rebellion em Nova York em nome de World BEYOND War. O evento foi projetado para reunir três grupos de ação: ativistas da mudança climática, coletivos de trabalhadores da tecnologia e ativistas contra a guerra. Começamos com uma emocionante conta pessoal do ativista das mudanças climáticas Ha Vu, que contou à multidão de nova-iorquinos uma experiência alarmante que poucos de nós já tivemos: retornando à casa de sua família em Hanói, no Vietnã, onde aumento de calor já tornou quase impossível andar fora durante o horário de pico da luz solar. Poucos americanos também sabem sobre o 2016 desastre de poluição de água em Ha Tinh, no Vietnã central. Costumamos falar da mudança climática como um problema em potencial nos EUA, enfatizou Ha, mas no Vietnã ela pode vê-la já atrapalhando vidas e meios de subsistência e piorando rapidamente.

Nick Mottern de KnowDrones.org falou com a mesma urgência sobre o recente investimento maciço dos militares dos EUA em inteligência artificial futurista e computação em nuvem - e enfatizou a própria conclusão dos militares de que implantações de sistemas de IA em gerenciamento de armas nucleares e guerra de drones inevitavelmente levarão a erros de magnitude imprevisível. William Beckler, da Extinction Rebellion NYC, explicou os princípios de organização que essa organização importante e de rápido crescimento coloca em ação, incluindo ações disruptivas destinadas a aumentar a consciência sobre a importância crítica das mudanças climáticas. Ouvimos de um representante da cidade de Nova York de Coalizão de trabalhadores técnicos, e tentei orientar a reunião em direção a um senso de empoderamento prático, falando sobre uma ação de rebelião de trabalhadores de tecnologia que teve um sucesso inesperado.

Isso foi em abril de 2018, quando a chamada "indústria de defesa" estava fervilhando sobre o Projeto Maven, uma nova iniciativa militar dos EUA altamente divulgada para desenvolver capacidades de inteligência artificial para drones e outros sistemas de armas. Google, Amazon e Microsoft oferecem plataformas de inteligência artificial prontas para clientes pagantes, e o Google foi visto como o provável vencedor do contrato militar do Project Maven.

No início de 2018, os funcionários do Google começaram a se manifestar. Eles não entendiam por que uma empresa que os recrutara como funcionários com a promessa de "Não seja mau" estava agora oferecendo projetos militares que provavelmente se assemelham ao horrível episódio de "Black Mirror", no qual cães mecânicos movidos a IA perseguem humanos. seres até a morte. Eles falaram nas mídias sociais e nas agências de notícias tradicionais. Eles organizaram ações e circularam petições e se fizeram ouvir.

Essa rebelião de trabalhadores foi a gênese do movimento Rebelião de Trabalhadores do Google e ajudou a criar outros coletivos de trabalhadores de tecnologia. Mas a coisa mais surpreendente sobre o protesto interno do Google contra o Projeto Maven não foi o fato de os técnicos estarem se manifestando. A coisa mais surpreendente é que O gerenciamento do Google cedeu às demandas dos trabalhadores.

Dois anos depois, esse fato ainda me surpreende. Eu já vi muitos problemas éticos nas minhas décadas como trabalhador de tecnologia, mas raramente vi uma grande empresa concordar categoricamente em abordar problemas éticos de maneira significativa. O resultado da rebelião do Google contra o Projeto Maven foi a publicação de um conjunto de princípios de IA que vale a pena reimprimir aqui na íntegra:

Inteligência artificial no Google: nossos princípios

O Google aspira a criar tecnologias que resolvem problemas importantes e ajudam as pessoas em suas vidas diárias. Estamos otimistas sobre o incrível potencial da IA ​​e de outras tecnologias avançadas para capacitar as pessoas, beneficiar amplamente as gerações atuais e futuras e trabalhar para o bem comum.

Objetivos para aplicativos de IA

Avaliaremos os aplicativos de IA em vista dos seguintes objetivos. Acreditamos que a IA deve:

1. Seja socialmente benéfico.

O alcance expandido de novas tecnologias afeta cada vez mais a sociedade como um todo. Os avanços na IA terão impactos transformadores em uma ampla gama de campos, incluindo saúde, segurança, energia, transporte, fabricação e entretenimento. Ao considerarmos o desenvolvimento potencial e os usos das tecnologias de IA, levaremos em conta uma ampla gama de fatores sociais e econômicos e prosseguiremos onde acreditamos que os benefícios prováveis ​​gerais excedam substancialmente os riscos e desvantagens previsíveis.

A IA também aprimora nossa capacidade de entender o significado do conteúdo em escala. Nos esforçaremos para disponibilizar informações precisas e de alta qualidade usando a IA, continuando a respeitar as normas culturais, sociais e legais nos países onde operamos. E continuaremos a avaliar cuidadosamente quando disponibilizar nossas tecnologias em bases não comerciais.

2. Evite criar ou reforçar preconceitos injustos.

Os algoritmos e conjuntos de dados de IA podem refletir, reforçar ou reduzir vieses injustos. Reconhecemos que distinguir preconceitos justos de injustos nem sempre é simples e difere entre culturas e sociedades. Procuraremos evitar impactos injustos sobre as pessoas, particularmente aquelas relacionadas a características sensíveis, como raça, etnia, gênero, nacionalidade, renda, orientação sexual, habilidade e crenças políticas ou religiosas.

3. Seja construído e testado para segurança.

Continuaremos a desenvolver e aplicar práticas fortes de segurança e proteção para evitar resultados não intencionais que criam riscos de danos. Projetaremos nossos sistemas de IA para serem adequadamente cautelosos e procuraremos desenvolvê-los de acordo com as melhores práticas em pesquisa de segurança de IA. Nos casos apropriados, testaremos as tecnologias de IA em ambientes restritos e monitoraremos sua operação após a implantação.

4. Seja responsável perante as pessoas.

Vamos projetar sistemas de IA que ofereçam oportunidades apropriadas para feedback, explicações relevantes e apelo. Nossas tecnologias de IA estarão sujeitas à direção e controle humanos adequados.

5. Incorpore os princípios de design de privacidade.

Incorporaremos nossos princípios de privacidade no desenvolvimento e uso de nossas tecnologias de IA. Daremos oportunidade de aviso e consentimento, incentivaremos arquiteturas com salvaguardas de privacidade e forneceremos transparência e controle adequados sobre o uso de dados.

6. Manter altos padrões de excelência científica.

A inovação tecnológica está enraizada no método científico e no compromisso de abrir questionamentos, rigor intelectual, integridade e colaboração. As ferramentas de IA têm o potencial de desbloquear novos domínios de pesquisa e conhecimento científicos em domínios críticos como biologia, química, medicina e ciências ambientais. Aspiramos a altos padrões de excelência científica à medida que trabalhamos para progredir no desenvolvimento da IA.

Trabalharemos com várias partes interessadas para promover uma liderança ponderada nessa área, utilizando abordagens cientificamente rigorosas e multidisciplinares. E compartilharemos responsavelmente o conhecimento de IA publicando materiais educacionais, melhores práticas e pesquisas que permitam que mais pessoas desenvolvam aplicativos úteis de IA.

7. Ser disponibilizado para usos que estejam de acordo com esses princípios.

Muitas tecnologias têm vários usos. Trabalharemos para limitar aplicativos potencialmente prejudiciais ou abusivos. À medida que desenvolvemos e implantamos tecnologias de IA, avaliaremos os prováveis ​​usos à luz dos seguintes fatores:

• Objetivo principal e uso: o objetivo principal e o uso provável de uma tecnologia e aplicativo, incluindo a proximidade com a qual a solução está relacionada ou adaptável a um uso prejudicial
• Natureza e singularidade: se estamos disponibilizando uma tecnologia única ou mais disponível em geral
• Escala: se o uso dessa tecnologia terá impacto significativo
• Natureza do envolvimento do Google: se estamos fornecendo ferramentas de uso geral, integrando ferramentas aos clientes ou desenvolvendo soluções personalizadas

Aplicações de IA que não buscaremos

Além dos objetivos acima, não projetaremos ou implantaremos IA nas seguintes áreas de aplicação:

1. Tecnologias que causam ou podem causar danos gerais. Onde houver risco material de dano, prosseguiremos apenas onde acreditarmos que os benefícios superam substancialmente os riscos e incorporaremos restrições de segurança apropriadas.
2. Armas ou outras tecnologias cujo principal objetivo ou implementação é causar ou facilitar diretamente ferimentos às pessoas.
3. Tecnologias que coletam ou usam informações para vigilância que viola normas internacionalmente aceitas.
4. Tecnologias cujo objetivo viola os princípios amplamente aceitos do direito internacional e dos direitos humanos.

À medida que nossa experiência neste espaço se aprofunda, essa lista pode evoluir.

Conclusão

Acreditamos que esses princípios são a base certa para nossa empresa e para o desenvolvimento futuro da IA. Reconhecemos que essa área é dinâmica e evolutiva, e abordaremos nosso trabalho com humildade, um compromisso com o engajamento interno e externo e uma disposição para adaptar nossa abordagem à medida que aprendemos ao longo do tempo.

Esse resultado positivo não isenta o gigante tecnológico do Google de cumplicidade em várias outras áreas de grande preocupação, como apoiar o ICE, a polícia e outras atividades militares, agregar e vender o acesso a dados privados sobre indivíduos, ocultando declarações políticas controversas dos resultados dos mecanismos de pesquisa e, o mais importante, permitindo que seus funcionários continuem se manifestando sobre esses e outros problemas sem serem demitidos por isso. O movimento de rebelião dos trabalhadores do Google permanece ativo e altamente engajado.

Ao mesmo tempo, é importante reconhecer o impacto do movimento dos trabalhadores do Google. Isso ficou imediatamente claro após o início dos protestos do Google: os departamentos de marketing do Pentágono pararam de emitir novos comunicados de imprensa sobre o outrora empolgante Projeto Maven, acabando por "desaparecer" o projeto inteiramente da visibilidade pública que buscava anteriormente. Em vez disso, uma nova e muito maior iniciativa de inteligência artificial começou a emergir dos insidiosos pentágonos do Pentágono. Conselho de Inovação em Defesa.

Isso foi chamado Projeto JEDI, um novo nome para os gastos do Pentágono em armas de ponta. O projeto JEDI gastaria muito mais dinheiro do que o projeto Maven, mas a publicidade do novo projeto (sim, as forças armadas dos EUA gastam lote tempo e atenção em publicidade e marketing) foi muito diferente da anterior. Todas as imagens elegantes e sexy do "Espelho Negro" se foram. Agora, em vez de enfatizar os horrores emocionantes e cinematográficos distópicos que os drones movidos a AI poderiam infligir aos seres humanos, o Projeto JEDI se explicou como um passo sóbrio para a eficiência, combinando vários bancos de dados em nuvem para ajudar os "combatentes" (o termo favorito do Pentágono para equipe de linha de frente) e equipes de suporte administrativo maximizam a eficácia das informações. Onde o Project Maven foi projetado para parecer empolgante e futurista, o Project JEDI foi projetado para parecer sensato e prático.

Não há nada sensato ou prático no preço do Projeto JEDI. É o maior contrato de software militar na história do mundo: US $ 10.5 bilhões. Muitos de nossos olhos brilham quando ouvimos falar em escalas de gastos militares, e podemos pular a diferença entre milhões e bilhões. É essencial entender o quanto maior o Project JEDI é do que qualquer iniciativa anterior de software do Pentágono. É um divisor de águas, um mecanismo de geração de riqueza, um cheque em branco para lucrar às custas dos contribuintes.

Ajuda a arranhar sob a superfície dos comunicados de imprensa do governo ao tentar compreender um cheque em branco para gastos militares de até US $ 10.5 bilhões. Algumas informações podem ser obtidas nas próprias publicações militares, como um preocupante Entrevista em agosto de 2019 com o tenente-general do Centro de Inteligência Artificial Jack Shanahan, uma figura-chave no Projeto Maven desaparecido e no novo Projeto JEDI. Consegui obter mais informações sobre como os membros da indústria de defesa pensam sobre o Projeto JEDI ouvindo um podcast da indústria de defesa chamado “Projeto 38: O futuro da contratação governamental”. Os convidados do podcast costumam falar abertamente e descaradamente sobre qualquer assunto que estejam discutindo. “Muitas pessoas comprarão piscinas novas este ano” foi típico do bate-papo interno deste podcast sobre o Projeto JEDI. Temos certeza que sim.

Aqui está o aspecto notável que remete aos princípios de IA do Google. Os três vanguardistas óbvios para o enorme contrato JEDI de US $ 10.5 bilhões seriam Google, Amazon e Microsoft - nessa ordem, com base em suas reputações como inovadores de IA. Por causa do protesto dos trabalhadores contra o Projeto Maven em 2018, o líder da IA, Google, não foi levado em consideração pelo muito maior Projeto JEDI em 2019. No final de 2019, foi anunciado que o contrato foi para a Microsoft. Seguiu-se uma enxurrada de cobertura de notícias, mas essa cobertura se concentrou principalmente na rivalidade entre a Amazon e a Microsoft, e no fato de que o terceiro lugar da Microsoft provavelmente venceu o segundo lugar da Amazon pela vitória por causa das contínuas batalhas do governo Trump com o Washington Post, que é propriedade de Jeff Bezos da Amazon. A Amazon agora vai a tribunal para lutar contra a doação de US $ 3 bilhões do Pentágono à Microsoft, e a Oracle também está processando. A observação específica do podcast do Projeto 2 mencionado acima - “Muitas pessoas comprarão piscinas novas este ano” - referia-se não apenas ao benefício financeiro da Microsoft, mas também a todos os advogados que participarão desses processos. Provavelmente, podemos supor que mais de 10.5% dos $ 38 bilhões do Projeto JEDI irão para advogados. Que pena que não podemos usar isso para ajudar fim da fome no mundo ao invés.

A disputa sobre se essa transferência de dinheiro do contribuinte para empreiteiros militares deve beneficiar a Microsoft, Amazon ou Oracle tem dominado a cobertura de notícias do Projeto JEDI. A única mensagem positiva a ser colhida desse suborno obsceno - o fato de que o Google se afastou do maior contrato de software militar da história do mundo por causa do protesto dos trabalhadores - foi virtualmente inexistente na cobertura jornalística do Projeto JEDI. 

É por isso que era importante contar essa história aos ativistas focados em tecnologia que estavam reunidos em uma sala lotada no centro de Manhattan na semana passada para falar sobre como podemos salvar nosso planeta, como podemos lutar contra a desinformação e politização da ciência climática, como podemos enfrentar o poder maciço de aproveitadores de combustíveis fósseis e aproveitadores de armas. Nesta pequena sala, todos parecíamos entender as dimensões do problema que estávamos enfrentando e o papel crítico que nós mesmos devemos começar a desempenhar. A comunidade tecnológica tem poder significativo. Assim como as campanhas de desinvestimento podem fazer uma diferença real, as rebeliões dos trabalhadores da tecnologia podem fazer uma diferença real. Há muitas maneiras pelas quais os ativistas da mudança climática, os ativistas da rebelião dos trabalhadores da tecnologia e os ativistas contra a guerra podem começar a trabalhar juntos, e faremos isso de todas as maneiras possíveis.

Tivemos um começo esperançoso com esse encontro, iniciado de maneira prestativa por Rebelião da extinção NYC e Mundo não pode esperar. Este movimento vai crescer - deve crescer. O abuso de combustível fóssil é o foco dos manifestantes contra as mudanças climáticas. O abuso de combustível fóssil é também o principal motivo de lucro do imperialismo dos EUA e um terrível resultado primário das atividades esbanjadoras dos militares dos EUA. Na verdade, os militares dos EUA parecem estar o pior poluidor do mundo. Os profissionais de tecnologia podem usar nosso poder de organização para obter vitórias ainda mais impactantes do que a retirada do Google do Projeto JEDI? Nós podemos e devemos. A reunião da semana passada em Nova York foi apenas um pequeno passo à frente. Devemos fazer mais e dar ao nosso movimento de protesto combinado tudo o que temos.

Marc Eliot Stein é diretor de tecnologia e mídia social da World BEYOND War.

Foto de Gregory Schwedock.