No passado, tínhamos de lidar com a discriminação coletiva contra categorias inteiras. Em breve, porém, teremos de lidar com a discriminação individual, não mais coletiva. Será o preconceito com base em dados coletados sobre cada pessoa – informações que podem revelar que alguém é péssimo em matemática, ou um mau vizinho, ou mais preguiçoso que a média. Bancos e outras corporações já estão usando algoritmos para analisar dados pessoais para só então tomar decisões que nos afetam. Quando se solicita um empréstimo, é provável que seu analista seja uma inteligência artificial. O algoritmo analisa dados como seu histórico de pagamento, seu grau de escolaridade e até a frequência de uso de seu plano de saúde para saber se você é confiável. Muitas vezes, o robô faz um trabalho melhor do que o funcionário de carne e osso. O problema é que, quando o algoritmo discrimina alguém injustamente, é difícil detectar isso. Se o banco se recusa a lhe conceder um empréstimo e você pergunta por quê, a resposta é “o algoritmo negou”. Aí você retruca: “Por que o algoritmo disse não?”. Ao que eles respondem: “Não sabemos”. Nenhum funcionário entende o algoritmo porque ele é baseado no que se chama de aprendizado de máquina avançado. Quando as pessoas discriminam grupos inteiros, esses coletivos se unem, se organizam e protestam. Mas e se o preconceito tem origem em um algoritmo que pode discriminar um único indivíduo apenas por ser quem é?

(Veja, 29.08.2018. Adaptado)