Toda técnica é ambivalente. Qualquer processo tecnológico pode ser utilizado para humanizar ou desumanizar — Natalia López-Moratalla¹
O sonho da casa própria de uma família está prestes a ser realizado. As economias acumuladas ao longo de anos pelo casal, ambos bem empregados, havia possibilitado o pagamento da entrada com folga. Restava a aprovação da hipoteca. Ante o otimismo do agente imobiliário, o casal marcou a mudança para a casa no mesmo dia da assinatura da hipoteca. Eis que dias antes, o mesmo agente telefona anunciando que o negócio não seria realizado. Um software havia rejeitado a proposta. O casal não pôde deixar de pensar que o fato de serem negros havia pesado na decisão do algoritmo.
É crescente o uso da Inteligência Artificial (IA) para automatizar decisões em temas de impacto humano. Juízes americanos decidem sobre penas de prisão ou concessão de liberdade condicional com base no software COMPAS, que prevê o risco de reincidência no crime. A IA está sendo usada para alocação de leitos de UTIs, e para decidir quais pacientes devem ou não ser internados ou receber atendimento domiciliar pelo serviço público. Processos de contratação de novos talentos ou de admissão de alunos em Universidades estão utilizando algoritmos para decidir quais candidatos serão convocados para a fase de entrevistas.
A utilização da IA nas previsões e definição de condutas a tomar permite em muitas situações reduzir a subjetividade humana, oferecendo análises sobre extensas bases de dados para uma tomada de decisão mais bem informada. Mas também pode resultar em previsões imprecisas e até discriminatórias para certos subconjuntos da população. Essa constatação tem gerado uma preocupação corporativa elevada em torno do problema dos vieses no desenvolvimento e aplicação de ferramentas de IA, em muitos casos, em função dos riscos de ações judiciais e danos à reputação. Outro fator de risco relevante, embora menos percebido, refere-se ao impacto sobre os próprios membros da organização ao participarem de processos que resultem em decisões avaliadas como injustas².
Por outro lado, não faltam os que destacam o processo de evolução das ferramentas de IA, que poderiam aperfeiçoar o controle de vieses e eventualmente “corrigir” desigualdades de determinados campos de aplicação, como ocorre no setor de concessão de crédito. Nesse caso, o desafio ― não pequeno, como se verá a seguir ― consistiria em desenvolver algoritmos que não replicassem injustiças sistêmicas, e tivessem impacto social positivo, diminuindo desigualdades sociais existentes ao promover a inclusão financeira.
O uso da IA na tomada de decisão sobre temas humanos possui a ambivalência característica da adoção da tecnologia em geral: a possibilidade de contribuir para a humanização ou a desumanização de organizações e pessoas. Com uma particularidade que lhe aumenta o risco potencial negativo à medida que se prolifera: a comum desatenção à natureza e limitações da IA, e o ofuscamento progressivo sobre o seu significado.
Os modelos de Inteligência Artificial em uso nessas situações constam de algoritmos desenvolvidos com a técnica do aprendizado de máquina, machine learning. Constam de equações matemáticas que se ajustam a uma base muito extensa de dados históricos de grande quantidade de variáveis, para a partir daí oferecer predições sobre a probabilidade de uma pessoa singular ser boa pagadora, um indivíduo detido ser reincidente, um paciente ter a saúde restabelecida, um atendente de cliente ter um perfil de bom desempenho, etc. O princípio de base desse processo é apoiar-se no passado para predizer o futuro.
O primeiro grande elemento de atenção nessa modelagem é a qualidade da base de dados com que se “treina” o algoritmo. Deve oferecer uma representação fidedigna da realidade humana do público-alvo ao qual a IA será aplicada. Se houver disparidade entre uma e outra, seja pela antiguidade dos dados de treinamento, seja pelo fato de se tratar de perfis populacionais diferentes, ou devido à não representação de públicos minoritários na base de dados de treinamento, a IA oferecerá predições imprecisas ou discriminatórias. Numa ocasião, uma pesquisa acadêmica demonstrou que o reconhecimento facial era menos preciso para rostos de pele mais escura e para mulheres³.
A seleção de variáveis como representação da realidade é um elemento crítico dessa etapa. No campo da análise de crédito, Pesquisa realizada pelo National Bureau of Economic Research, analisando as 2098 maiores empresas que oferecem hipotecas nos EUA, no período de 2012 a 2018, concluiu que a discriminação existente custa às minorias latina e afro-americana um montante de 765 milhões de dólares a mais por ano⁴. O Consumer Financial Protection Bureau, após analisar operações registradas segundo a Home Mortgage Disclosure Act (HMDA), concluiu que “os dados mostram que os requerentes de crédito que são brancos não hispânicos e asiáticos são frequentemente recusados a uma taxa inferior à dos negros, brancos hispânicos e outras minorias”⁵. Especialistas do setor de crédito nos EUA dizem que “qualquer tipo de dado que você analise no setor de serviços financeiros tem uma grande tendência de estar altamente correlacionado à raça”⁶.
Parece altamente desafiador desenvolver uma ferramenta de IA de concessão de crédito capaz de contornar essa condição de base de desigualdade presente em dados históricos financeiros para treinar o algoritmo.
Outro aspecto relevante inerente a esses modelos é que quanto maior a sua complexidade e poder de acurácia, maior a dificuldade de entender e explicar os resultados de predição que gera. Em muitos casos, poderá restar ao agente apenas comunicar ao cliente o resultado gerado pelo algoritmo, sem uma justificativa circunstanciada da decisão tomada. Em caso de decisões com implicações negativas sobre pessoas, há o risco, como ocorre no âmbito da União Europeia⁷, de a empresa ser demandada a explicitar os processos utilizados na decisão para elucidar a relação de causalidade que levou ao dano gerado⁸.
Uma residente do Arkansas (EUA) com paralisia cerebral teve o seu atendimento domiciliar fornecido pela Medicaid (serviço público de assistência médica) reduzido de 56 horas para 32 horas por semana, sem explicação. A Legal Aid (assistência jurídica para pessoas sem recursos) processou com êxito o Estado do Arkansas e o sistema de atribuição algorítmica foi considerado inconstitucional⁹.
Diante desses problemas, a aplicação responsável e ética da IA requer uma análise criteriosa sobre a concepção, o desenvolvimento e as circunstâncias de aplicação dessas ferramentas, à luz de princípios como equidade e justiça, transparência, não maleficência, responsabilidade e privacidade.
O sentido da IA
O segundo aspecto de implicação ética relevante no uso da IA na tomada de decisão sobre temas humanos é o potencial ofuscamento do seu significado para a atividade humana e o desenvolvimento de pessoas e sociedades.
As aplicações de IA oferecem o atrativo da eficiência, mas adotadas em temas humanos, comportam riscos de impacto negativo, em primeiro lugar para os próprios tomadores de decisão responsáveis pelo seu uso.
A decisão de conceder ou não crédito, a exemplo do caso antes citado, dependerá de um julgamento hábil, em face das políticas da empresa e das condições reais dos candidatos concretos. O casal talvez não possua suficiente patrimônio nem um histórico financeiro padrão, mas, ambos trabalham em empresas estáveis, possuem uma empregabilidade clara no mercado de trabalho, pelo currículo e pelo perfil; são jovens, e os pais poderiam ajudar em caso de necessidade, etc.
Esse julgamento hábil requer o concurso da equidade¹⁰ ― conceito moral, não técnico-quantitativo ―, que consiste na virtude pela qual a pessoa justa aplica a lei geral ao caso particular, atendo-se às circunstâncias particulares e guiando-se antes pelo propósito e espírito, que pela letra da lei, que pode ser uma política da empresa, regra ou processo estabelecido. A prudência é que capacita o agente a reconhecer uma desigualdade histórica no contexto da sociedade ― uma classe desfavorecida da população em busca de oportunidade ―; leva a ponderar as circunstâncias todas e a avaliar o risco que a empresa pode e deve correr no caso concreto. Literalmente, o agente prudente, justo e equitativo, “vê” o ponto “justo”, a exceção a fazer, o risco a assumir.
Essa virtude é capital para o exercício da liderança autêntica, Liderança Adaptativa, que não se limita a seguir regras e políticas definidas, mas julga a situação concreta e possui o discernimento e a coragem para ultrapassar o limite do geralmente esperado e seguro, para decidir por uma solução mais justa e inteligente que desafia e melhora o status quo da organização¹¹.
Decisões relativas a questões sensíveis de natureza penal, ou sobre finanças, saúde, desempenho no trabalho e carreira frequentemente requerem virtudes e habilidades complexas, como julgamento, intuição, consciência de contexto e pensamento ético¹². Requerem a sensibilidade para o impacto das decisões sobre as pessoas. Explicitam a dimensão humana da tomada de decisão, e ajudam a compreender o sentido humano do trabalho.
A IA pode afetar negativamente essas habilidades, na medida em que pode induzir escolhas ou tomar o lugar do tomador de decisão, de forma parcial ou completa. A IA pode influenciar nas decisões, ao estabelecer a “arquitetura de escolha” ou o contexto da decisão, incentivando as pessoas a fazerem certas escolhas¹³. Em muitos casos, ocorre um distanciamento do beneficiário da decisão, como no caso da concessão de crédito, diminuindo no agente que decide a percepção do impacto e do sentido de serviço ao outro, de senso de unidade com os outros, aspecto relevante para o sentido do trabalho.
Nesses processos, degradam-se habilidades eminentemente humanas da tomada de decisão, dando lugar a uma desqualificação do profissional, deskilling. Ou melhor, num sentido antropológico, ocorre uma subtração de humanidade da pessoa do tomador de decisão.
Mesmo aplicações de natureza aparentemente mais simples como o monitoramento do trabalho de colaboradores, eventualmente combinando com dados públicos de comportamento privado em redes sociais, com o simples propósito de antecipar problemas de gestão da força de trabalho, encobrem riscos mais profundos, à parte das considerações negativas sobre vigilância e atitude intrusiva sobre os monitorados.
Que impacto essas aplicações geram com o passar do tempo sobre os próprios gestores que as idealizam e aplicam? Em muitos casos, considera-se um ganho de eficiência a supressão da necessidade de relacionamentos interpessoais com colaboradores e pares, que são na verdade a melhor fonte de conhecimento real das pessoas e dos seus contextos de trabalho, úteis para a gestão, em ambiente de confiança, onde se compartilham visões e situações que se vivenciam. Relacionamentos humanos autênticos requerem segurança pessoal, sinceridade e coragem, de quem não se protege por trás de procedimentos automáticos ou virtuais para decidir ou comunicar mudanças que impactam pessoas.
A extensão acelerada do uso da IA, faz-nos perguntar: qual o sentido da IA? Uma boa forma de responder a essa questão pode ser colocando uma outra: o que a IA faz conosco?
Uma formulação atribuída a John Culkin, no contexto do pensamento de Marshall McLuhan, diz: Nós moldamos as nossas ferramentas e depois elas nos moldam¹⁴.
A busca pela produção em larga escala no começo do século passado levou os empresários a conceberem sistemas de produção departamentalizados de alta produtividade. Não demorou muito, e esses sistemas ajudaram a moldar uma visão e mentalidade pragmáticas, de tom hierárquico, sobretudo no âmbito das empresas, que durariam muitos anos.
Os atuais recursos tecnológicos produzem o fascínio pela estética da eficiência, do elemento inovador, ágil, preciso, criativo e surpreendente. A Inteligência Artificial, em particular, possui o atrativo poderoso de mimetizar o comportamento e as capacidades intelectuais humanas. Ao ponto de gerar a expectativa de que criações humanas superem a mente que as criou, num contexto cultural que está afetando modos de pensar e atuar. Não são raros os executivos da era digital que mimetizam eles as máquinas inteligentes, para tomar decisões ágeis e precisas, com um discernimento tão rápido quanto superficial sobre o real significado das suas decisões. O físico e filósofo Niels Bohr, Prêmio Nobel em 1922, disse certa vez: «Se eu tivesse refletido nas minhas aulas, meus alunos não teriam fabricado a bomba atômica»¹⁵.
Em muitos campos em que a decisão é baseada em sistemas computadorizados, como aviação, área médica e previsão financeira, é conhecido o risco do “automation bias”, que se refere a um excesso de confiança em sistemas automatizados, favorecendo o Automated Decision-Making, de quem se apoia muito na predição da máquina, visto como “científica, neutra, objetiva”¹⁶. Esse processo alimenta a tendência a evitar o ônus de decidir contra a IA, e em geral, reforça a inclinação a eludir a responsabilidade pessoal pelas decisões a tomar, fenômeno já presente no contexto cultural atual: muitos preferem um estilo de gestão que dispense conversas interpessoais presenciais, e que permita justificar decisões pela recomendação do algoritmo, furtando-se às dores da tomada de decisão.
O caráter ambivalente do uso da Inteligência Artificial pede uma resposta à pergunta: o que nos faz humanos? É positivo tudo o que reforça as expressões de inteligência criativa, liberdade, sentimentos e iniciativa para autodeterminar-se em busca do desenvolvimento próprio integral, em relações de solidariedade, e com abertura à transcendência, que capta na própria realidade que altera, o seu significado mais profundo.
Atenta contra esses elementos definidores da dignidade da pessoa o processo de robotização intelectual, que confunde e reduz a mente do ser humano ao seu cérebro. Segundo Natalia López-Moratalla, catedrática de Bioquímica e Biologia Molecular, tudo deixa rastro no cérebro: as vivências, as experiências, as decisões, a vida afetiva. O espaço mental não é o espaço físico do cérebro, e nós o encolhemos ou ampliamos ao exercer a liberdade. Nele, trazemos nosso passado ― a memória da nossa vida ― para o presente e projetamos o futuro. Esse espaço mental, não físico, é o espaço da consciência¹⁷.
A capacidade de julgar requer o concurso de toda a estrutura interna da pessoa: uma aptidão que, para além do raciocínio meramente lógico, habilita a refletir sobre o significado do tema em questão, sobre o que realmente está em jogo, com base em experiências vividas e na captação de contextos humanos reais, elementos todos que configuram o espaço da consciência pessoal.
Uma assimilação eticamente íntegra da IA requer o conhecimento da sua natureza e limitações, e das potencialidades e riscos associados ao seu uso pelos que tomam decisões, sobretudo em temas de impacto humano. Uma ferramenta de IA poderá talvez refletir e aplicar as políticas adotadas por uma empresa, como no exemplo da hipoteca para a casa própria. Mas, uma decisão antropologicamente humana requer o concurso da justiça, da equidade, e sobretudo da prudência, elementos do espaço da consciência pessoal. Somente nesse espaço se tomam decisões verdadeiramente humanas, e que por isso mesmo comprometem por inteiro a pessoa que decide.
Não são poucos os efeitos potenciais de diferentes usos das tecnologias na tomada de decisão: a indução de escolhas pela máquina, o efeito do viés de automação, a mimetização intelectual da máquina pelo agente; o desvanecimento da equidade, da prudência e do sentido da decisão; o desapreço pelas relações interpessoais; e a redução do sentido de propriedade e responsabilidade pela decisão.
A alta liderança das empresas tem diante de si a tarefa de compreender o processo de transformação cultural em curso na sociedade, impulsionada em boa medida pela evolução tecnológica, que impacta clientes e os próprios colaboradores. Essa inteligência contextual deve ser aplicada para avaliar o estado atual e futuro do próprio negócio, e definir que tipo de habilidades de gestão se quer preservar e desenvolver ao incorporar as novas tecnologias.
Idealmente, os altos executivos deveriam apoiar-se nessas novas tecnologias para aumentar a sua capacidade de pensar o próprio negócio e a organização, refletindo nas formas de adoção que acrescentem valor aos talentos diferenciais corporativos, e fortaleçam a unidade entre os executivos e em toda a organização, garantindo a realização da missão numa sociedade cambiante, de forma sustentável e fiel a sua própria identidade e valores fundacionais.
Referências Bibliográficas
¹ The State of AI Bias in 2019. DataRobot.
² Bankins, Sarah; Formosa, Paul. The Ethical Implications of Artificial Intelligence (AI) For Meaningful Work. Journal of Business Ethics, 11 February 2023.
³ Buolamwini, Joy; Gebru, Timnit. Gender Shades: Intersectional Accuracy Disparities in Comercial Gender Classification. Proceedings of Machine Learning Research 81:1–15, 2018.
⁴ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy. Consumer lending discrimination in the fintech era. National Bureau of Economic Research. June 2019.
⁵ An Updated Review of the New and Revised Data Points in HMDA. Consumer Financial Protection Bureau. August 2020.
⁶ The secret bias hidden in mortgage-approval algorithms. Associated Press. Published Aug. 25, 2021.
⁷ Artificial Intelligence Act.
⁸ AI Liability Directive, Article 3(1).
⁹ Vincent, James. When algorithms go wrong we need more power to fight back, say AI researchers. The Verge. Dec 8, 2018.
¹⁰ Aristotle. Nichomachean Ethics, 1137b.
¹¹ Heifetz, Ronald A.; Linsky, Marty. The Practice of Adaptive Leadership: Tools and Tactics for Changing Your Organization and the World. Harvard Business Review Press. 2009.
¹² Bankins, Sarah; Formosa, Paul. The Ethical Implications of Artificial Intelligence (AI) For Meaningful Work. Journal of Business Ethics, 11 February 2023.
¹³ Thaler, R., & Sunstein, C. (2008). Nudge: Improving decisions about health, wealth, and happiness. Yale University Press: New Haven, CT.
¹⁴ Culkin, John. A schoolman’s guide to Marshall McLuhan. Saturday Review. March 18, 1967, p. 51-53; 70-72: “We shape our tools and thereafter they shape us”.
¹⁵ Natalia López-Moratalla: «He visto el nacer de la bioquímica: apasionante, preciosa. A mí me gusta la vida». Nuestro Tiempo, n. 712, diciembre 2021 – marzo 2022.
¹⁶ Mitigating Bias in Artificial Intelligence. An Equity Fluent Leadership Playbook. Berkeley Haas. July 2020.
¹⁷ López-Moratalla, Natalia. Inteligencia Artificial ¿Conciencia Artificial? Digital Reasons. 2017.
