Ainda seremos capazes de dominar a selva dos algoritmos? Entrevista com Aurélie Jean

Onipresentes em nossas vidas, os algoritmos realmente ditam a lei?, pergunta Aurélie Jean em seu novo livro Les algorithmes font-ils la loi? (Éditions de l’Observatoire, 2021). Longe das ideias pré-fabricadas, esta doutora em ciências, jovem empreendedora em inteligência artificial, sugere maneiras para melhor dominá-los.

Seu território são os algoritmos. Compreendê-los, garante, é a melhor maneira de não se deixar dominar pela máquina. Aurélie Jean foi classificada, em 2019, pela revista Forbes como uma das 40 mulheres francesas mais influentes do mundo.

Eis a entrevista.

Você é favorável a uma normatização da “selva algorítmica”. Essa preocupação com a regulamentação é compartilhada por seus colegas projetistas de algoritmos?

Sim, há uma demanda por normatização entre os pesquisadores e engenheiros do meu entorno porque a autorregulação imaginada há alguns anos, que permitiria aos atores se autorregular através de um consenso colegiado, não funciona. A ética poderia ter se imposto como um concorrente – uma empresa que se posiciona eticamente está ganhando partes do mercado –, mas não foi isso que aconteceu.

Para os atores do setor, poucos e grandes demais, os riscos econômicos de um posicionamento ético são muito grandes. Alguns estão, portanto, se voltando para os Estados, na minha opinião sem hipocrisia, para serem enquadrados, como fez Mark Zuckerberg em Paris, em 2019, sobre a questão dos conteúdos de ódio veiculados nas redes sociais.
Uma reflexão sobre o uso dessas técnicas está, portanto, em ação entre os projetistas de algoritmos?

Conversamos muito entre nós sobre as questões levantadas por esta ou aquela demanda. Mas nos falta formação em ética. Eu mesmo fiz essa formação tarde, aos 27 anos.

Ao realizar um trabalho sobre os traumatismos cranianos a partir de experimentos feitos em animais, por exemplo, recusei-me a usar dados de um grupo de pesquisa asiático onde sabia que esses testes são feitos sem uma estrutura ética, ao contrário dos Estados Unidos e da Europa. Também me recusei a participar de um projeto que lidava com dados quase pessoais de clientes. Também me recuso a trabalhar com armas autônomas.

Que outras linhas éticas orientam seu pensamento?

Estou atenta aos “danos colaterais” que um algoritmo pode causar, mas desenvolvido com a ideia de ser útil para o maior número de pessoas possível. É o caso de alguns algoritmos de empréstimo bancário ou de recrutamento denunciados por serem desfavoráveis às mulheres.

Vieses étnicos também foram identificados. No entanto, os erros permanecem, como no caso do Facebook, no centro de um escândalo em setembro passado, depois que alguns usuários notaram que após terem assistido a vídeos com pessoas negras, o sistema de inteligência artificial lhes perguntava se não gostariam de continuar a ver “vídeos sobre primatas”… Faz-se necessária uma normatização para que os algoritmos sejam testados antes de serem usados, como se faz com os medicamentos.

Ainda há tempo para introduzir a ética nos algoritmos?

Sempre há tempo. A posição da União Europeia sobre os dados com o GDPR (Regulamento Geral de Proteção de Dados) é uma posição equilibrada exemplar: ela autoriza normatizando e protege os dados pessoais dos cidadãos, ao mesmo tempo que incentiva a inovação tecnológica através da livre circulação de dados entre os países da União Europeia.

Mas o assunto dos algoritmos e da inteligência artificial (IA) é mais difícil, com um nível maior de abstração. No entanto, na sua proposta de regulamentação da IA em abril passado, a Comissão Europeia apropria-se dela com um tom “conservador”, classificando os algoritmos de acordo com o seu nível de risco.

Isso significa que algoritmos classificados como de “alto risco” serão proibidos? Cuidado com as posições ideológicas de proibição de princípio! Por exemplo, o reconhecimento facial na rua representa um risco de vigilância em massa generalizada, mas é inofensivo quando implantado na alfândega por meio de passaportes biométricos para identificação. É necessário um discurso científico forte para esclarecer o legislador, que também deve se comprometer com uma compreensão mais detalhada dessas questões.

Hoje a inteligência artificial pode assustar, e nos perguntamos o que ela realmente traz de benefício para os humanos…

Na área médica, os algoritmos são usados para detectar tumores, realizar análises biológicas e gerenciar a logística hospitalar. Eu entendo esse medo, mas me entristece e me parece tão distante das ferramentas que desenvolvo! Por exemplo, estou trabalhando em um algoritmo capaz de detectar um câncer de mama até dois anos antes que uma mamografia possa vê-lo! As finanças também têm muito a ganhar sendo mais transparentes, através da detecção de fraudes ou da previsão de um micro crash.

Também nas redes sociais, a sugestão algorítmica dos conteúdos mais relevantes a partir das nossas consultas parece-me inteligente. Quanto aos “efeitos de bolha” – que ocorrem no Twitter ou no Facebook quando o algoritmo de categorização só me oferece conteúdos apreciados pela minha categoria –, existem meios tecnológicos para evitá-los. Mas o modelo econômico dessas redes alimenta-se disso: é aqui que uma normatização deve ser introduzida.

Não precisamos também de proibições de princípio, como a exclusão de algoritmos em certos campos eminentemente “humanos”, como a justiça?

Pode ser perigoso simplesmente proibir. No tocante à justiça, usar um algoritmo para pré-estimar os danos e prejuízos (a decisão final sempre cabendo ao juiz) para lesões corporais a fim de evitar diferenças geográficas é uma ideia interessante. Este é o objetivo do programa francês DataJust.

Ao contrário, usar um algoritmo para prever zonas de crimes e futuros criminosos é perigoso devido ao potencial de parcialidade e à incapacidade de um juiz validar ou rejeitar, na prática, a sugestão algorítmica.

À medida que se tornam mais complexos, os algoritmos tornam-se cada vez mais opacos. Não deveríamos dispensar aqueles que não podemos explicar?

Alguns algoritmos são explícitos: conhecemos sua lógica. Outros, os algoritmos de aprendizado, não são totalmente explicáveis. Sua lógica é definida implicitamente, pelo treinamento. Mas seria uma pena dispensá-los. Alguns, por exemplo, permitem a detecção de um tumor cerebral…

No entanto, devemos conseguir progressivamente extrair a lógica desses algoritmos. Existem muitos métodos para isso, e eles estão melhorando dia a dia. Infelizmente, nenhuma regra exige tais cálculos de explicabilidade nos algoritmos e nos dados usados para treiná-los…

Você fala de uma necessária responsabilização dos cidadãos, que devem compreender o funcionamento dos algoritmos que utilizam constantemente. Mas o desafio não é principalmente político, e não individual?

Compreender, ainda que basicamente, como funcionam os algoritmos, permite-nos identificar o seu real valor acrescido, longe das narrativas distópicas que moldam a nossa imaginação e muitas vezes nos afastam da realidade.

Além disso, conhecemos atualmente os riscos de vieses algorítmicos, de vício ou de manipulação da opinião de algumas tecnologias. Entender quais dados são coletados e seu uso é fundamental, mas a maioria dos principais atores tecnológicos não se esforça o suficiente para explicar suas ferramentas.

Não deveríamos considerar uma desaceleração das inovações em torno dos algoritmos, a fim de dar às pessoas e aos Estados tempo para integrá-los e normatizá-los?

Uma desaceleração correria o risco de nos atrasar e de nos impedir de aproveitar as inovações. Mas é preciso impor boas práticas de desenvolvimento, testes sobre os algoritmos, assim como a aplicação dos métodos de cálculo da explicabilidade.

Isso não retardará os desenvolvimentos futuros, porque economizaremos tempo na correção de todos os erros trazidos à luz pelos escândalos midiáticos, que assim pudemos evitar. No entanto, o tempo está contra nós: as evoluções em pesquisa e a sua transferência para a indústria se aceleram, e aumenta a distância entre o tempo do desenvolvimento tecnológico e o tempo da formulação da lei.