O crescimento das demandas judiciais em todo o mundo tem levado países a investir na automatização dos procedimentos. O nível de automatização varia, é claro, conforme a localidade, mas as iniciativas vão desde a classificação de documentos até o ato de julgar propriamente dito, com o emprego de sistema de inteligência artificial.
Estamos diante de um crescimento significativo de decisões baseadas em algoritmos e Big Data. O movimento está ocorrendo em vários países, inclusive no Brasil. O próprio STF já possui um sistema capaz de identificar os principais temas de repercussão geral do tribunal, que promete revolucionar a forma com que os recursos são processados.
Mas hoje não vou falar do VICTOR, o sistema de inteligência artificial do STF. Vou direcionar minha atenção ao COMPAS, um sistema de inteligência artificial capaz de prever a chance de reincidência no cometimento de crimes. Isso mesmo. E o detalhe curioso é que esse software vem sendo utilizado pelos tribunais estadunidenses para sentenciar acusados.
O caso a seguir ilustrará ao leitor o funcionamento do COMPAS:
Um caso concreto sobre o sistema de inteligência artificial
Em 2013, policiais de Wisconsin (um estado no centro-oeste dos Estados Unidos) prenderam um homem dirigindo um veículo que havia sido usado em um tiroteio. Ao ser abordado, o homem, Eric Loomis, imediatamente se declarou culpado de tentar fugir de um policial. Loomis não apresentou reação e foi preso nos minutos seguintes.
Ao preferir a sentença, o magistrado sustentou, como fundamento para condenar Loomis, seu alto risco de reincidência. Mas, afinal, como poderia saber esse índice? Em síntese, o juiz utilizou um software chamado COMPAS, que funciona como um sistema de avaliação de risco utilizado pelo estado de Wisconsin.
A partir da “pontuação final de reincidência” informada pelo COMPAS, o juiz negou a liberdade condicional de Loomis e o condenou a 11 anos de prisão. Inconformado, Loomis recorreu da sentença. No recurso, alegou que não teve acesso às fórmulas matemáticas do software e que, por esse motivo, não poderia se defender adequadamente.
Mas a Suprema Corte de Wisconsin rejeitou seu recurso. Mais adiante, a Suprema Corte dos Estados Unidos se recusou a ouvir o caso, demonstrando que concordava com o uso de algoritmos para embasar sentenças condenatórias. Eric Loomis seguiu preso e até hoje não sabe dizer exatamente como o COMPAS funciona.
Leia também:
Como a inteligência artificial pode aprimorar a prestação de serviços jurídicos
Decisões algorítmicas
Quem viu o filme Minority Report recorda que o detetive interpretado por Tom Cruise tinha o dever de identificar o local exato em que o crime seria “praticado”. De modo similar aos precogs, paranormais que transmitiam cenas dos crimes ainda não ocorridos, sistemas como COMPAS sugerem o início de uma nova era. A era das decisões algorítmicas.
Os Estados Unidos têm investido cada vez mais em ferramentas de avaliação de risco computadorizadas. Muitos estados estão convencidos de que os computadores são menos tendenciosos que humanos (ainda que sejam humanos bem-intencionados). Mas transferir a responsabilidade da sentença para um computador não é suficiente.
Isso porque, ainda que uso de inteligência artificial possa ser mais eficiente e menos custoso, não há como eliminar o viés.
Sistema de inteligência artificial à prova de erro?
No dia a dia, os programadores criam sistemas que extraem, principalmente (mas nunca inteiramente), inferências corretas a partir de dados comuns, por meio de lógica. Ou seja, os algoritmos são desenhados para desempenhar os mesmos tipos de deduções ou inferências que os seres humanos fariam, mais cedo ou mais tarde.
Mas se uma inteligência artificial pode imitar a nossa capacidade de raciocínio, parece inegável concluir que ela, em algum momento, também poderá absorver nossas fraquezas mentais. Assim, por mais bem intencionados que sejam, sistemas como o COMPAS estão sujeitos a incorporar os vieses (biases, em inglês) de seus programadores.
Além disso, não há qualquer transparência do funcionamento do COMPAS. A fabricante do software, a Northpointe, Inc., mantém sob sigilo os algoritmos que processam o sistema de pontuação. Só para ilustrar: as únicas pessoas que conhecem mais detalhes do COMPAS são os diretores da empresa e seus programadores.
Inteligentes, mas não sábios
Os computadores podem ser inteligentes, mas não são sábios. Tudo o que eles sabem, nós os ensinamos. E, quando os ensinamos, ensinamos também nossos preconceitos. Eles não vão desaprendê-los assim, em um passe de mágica. Logo, é impensável “jogar” para o algoritmo a responsabilidade de decidir o destino de uma pessoa.
Os programadores são menos equipados que os magistrados para julgar. Os juízes, mesmo preparados para sentenciar, também erram. Assim, é ingênuo apostar as fichas em algoritmos como o COMPAS, que, além de não apresentar qualquer transparência, simplesmente imita os dados com os quais os treinamos, incorporando, assim, os nossos vieses.
Com transparência e responsabilidade, algoritmos no sistema de justiça criminal até têm potencial para o bem. No entanto, para que as estruturas de inteligência artificial sejam realmente eficazes, é essencial que não reflitam, de nenhum modo, os preconceitos subconscientes dos programadores que os criaram.
Continue explorando o assunto
ISRANI, Ellora Thadaney. When an algorithm helps send you to prison. The New York Times, Nova York, 26 out 2017.
CAMARGO, Coriolano; CRESPO, Marcelo. Inteligência artificial, algoritmos e decisões injustas: é hora de revermos criticamente nosso papel em face da tecnologia. Migalhas, Ribeirão Preto, 31 out 2017.
FULTON, Scott. What is bias in AI really, and why can’t AI neutralize it? ZDNet, Nova York, 17 jul 2019.
Quer estar por dentro de tudo que envolve Direito, inovação e novas tecnologias?
Siga-me no Facebook, Instagram e LinkedIn e acompanhe conteúdos diários para se manter atualizado.
