A Decisão Sem Decisor

Como a AI empresarial herda um problema mais velho do que ela

Uma falha vem à superfície. Começa a investigação. O rasto conduz a uma decisão que tem de ter sido tomada — excepto que, examinada de perto, ninguém a tomou.

A equipa seguiu o framework. O framework foi aprovado pela governança. A governança foi aconselhada pela consultora. A consultora aplicou a metodologia. A metodologia foi desenvolvida contra benchmarks da indústria. Os benchmarks derivaram de frameworks anteriores. A decisão existe. Os artefactos que a produziram existem. O decisor não.

Este padrão é mais velho do que a AI empresarial. A chegada da AI não o introduz. Herda-o, amplifica-o, e acrescenta uma camada adicional de opacidade exactamente no ponto onde o sistema já era menos interrogável.

A sugestão recente, proeminente no comentário tecnológico, de que o «maior desafio» da AI empresarial é a reprodutibilidade — a capacidade de produzir a mesma resposta à mesma pergunta todas as vezes — é um enquadramento errado e instrutivo. O determinismo é apresentado como um problema técnico à espera de uma correcção técnica. A função real da exigência corporativa de determinismo é outra coisa completamente diferente.

A gramática do deslocamento de responsabilidade

Antes de qualquer código ser instalado, o deslocamento já estava no lugar.

Uma decisão sénior é tomada. Chamado a defendê-la mais tarde, o executivo não diz «julguei que isto estava correcto». O executivo diz: o framework recomendou esta abordagem, a análise sustentou esta conclusão, o precedente de organizações pares confirmou-a, a metodologia exigia estes passos. Cada citação move o lugar da decisão para outro sítio.

O framework não é da autoria de alguém — é canónico. A metodologia não é escolhida — é aplicada. O benchmark não é seleccionado — é consultado. Cada artefacto da cadeia produz decisões, mas cada artefacto é também uma estrutura construída especificamente para não exigir nenhum decisor individual.

Esta é a função corporativa do processo. O processo não existe primariamente para a consistência ou a qualidade, embora esses benefícios sejam reais. O processo é, estruturalmente, um escudo de responsabilidade. A decisão torna-se o resultado de um procedimento e não o resultado de uma pessoa. Quando a decisão é mais tarde examinada, examina-se primeiro o procedimento. Só se o procedimento tiver sido violado é que um indivíduo entra em foco. Se o procedimento foi seguido e o resultado foi mau, a conclusão é que o procedimento tem de ser revisto — não que alguém em particular falhou em pensar.

Esta gramática precede a AI em décadas. Relatórios de estratégia citados como base de decisões de reestruturação. Processos Six Sigma citados como base de decisões de qualidade. Frameworks de risco citados como base de decisões de alocação de capital. Metodologia após metodologia, cada uma a funcionar como um lugar onde depositar a decisão antes que alguém pergunte quem, exactamente, decidiu.

Robodebt: um caso de estudo em determinismo sem decisor

O programa Online Compliance Intervention do Governo australiano — conhecido publicamente como Robodebt — operou a partir de 2016 para calcular e recuperar alegados pagamentos indevidos de prestações sociais a aproximadamente 470.000 cidadãos. O mecanismo fazia a média do rendimento anual declarado em períodos quinzenais e cruzava o resultado com as prestações recebidas. Onde o algoritmo computava uma discrepância, uma dívida era criada e cobrada.

O sistema era determinístico. Os mesmos inputs produziam os mesmos outputs todas as vezes. A reprodutibilidade não era o problema.

O problema era que a premissa algorítmica — fazer a média do rendimento anual em intervalos quinzenais uniformes para identificar pagamentos em excesso — produzia dívidas falsas em escala. Pessoas com trabalho sazonal, emprego casual, ou rendimento que variava de mês para mês eram sistematicamente calculadas como tendo recebido mais do que aquilo a que tinham direito. Os destinatários destas notificações de dívida eram, por desenho, presumidos devedores do que o sistema tinha calculado até conseguirem provar o contrário. O ónus da contraprova caía sobre pessoas cujas vidas a exigência já tinha desestabilizado. Múltiplas mortes foram subsequentemente ligadas ao programa, incluindo vários suicídios confirmados em que a notificação de dívida foi um factor.

Quando a falha se tornou politicamente impossível de ignorar, as explicações seguiram uma forma reconhecível. O sistema tinha calculado. O algoritmo tinha identificado. O cruzamento tinha produzido. Os outputs eram técnicos, as consequências eram administrativas, o ónus era dos destinatários. Onde a doutrina do «o sistema decidiu» encontrou a pergunta «quem decidiu instalar este sistema, e mantê-lo depois dos avisos», a resposta fragmentou-se por anos de reuniões, briefings e notas de aconselhamento que nenhuma parte isolada tinha assumido por inteiro.

A Royal Commission de inquérito, no relatório de 2023, concluiu que o esquema tinha sido ilegal desde o início e que altos funcionários e ministros tinham conhecimento de pareceres jurídicos que levantavam sérias dúvidas sobre a sua validade. A responsabilidade que devia ter emergido em 2016 emergiu em 2023 — sete anos e um número desconhecido de vidas destruídas depois.

O que o Robodebt demonstrou não foi que os sistemas automatizados podem falhar. Isso nunca foi controverso. O que demonstrou foi que os sistemas automatizados servem particularmente bem uma necessidade organizacional específica: a produção de decisões que, quando falham, não conseguem ser rastreadas até um decisor a tempo de as consequências serem evitadas. O determinismo do sistema não é o defeito. É a característica que faz o deslocamento funcionar.

Reprodutibilidade, reformulada

Regresse-se ao argumento de que a reprodutibilidade é o grande desafio da AI empresarial.

Um sistema reprodutível produz o mesmo output todas as vezes. Isto é, à primeira vista, uma virtude. Mas a reprodutibilidade não transporta nenhuma informação sobre correcção. Um sistema reprodutível pode estar reprodutivelmente errado. Um sistema reprodutível pode codificar uma premissa defeituosa e aplicar essa premissa defeituosa a todos os inputs subsequentes com consistência perfeita. O output é consistente. O output está também, em muitos casos, catastroficamente desalinhado da realidade.

O que a reprodutibilidade fornece é algo diferente: defensibilidade. Quando o sistema dá a mesma resposta todas as vezes, a resposta pode ser citada. Quando a resposta pode ser citada, a resposta pode ser invocada. Quando a resposta pode ser invocada, a resposta pode ser accionada. E quando a acção se revela errada, a cadeia de citação fornece o artefacto de que a defesa procedimental precisa: isto foi o output do sistema, aplicado como desenhado, em linha com a metodologia, consistente com execuções anteriores.

É por isto que a exigência de reprodutibilidade é ruidosa no discurso corporativo de AI, e a exigência de correcção verificável é comparativamente silenciosa. A correcção exige que um humano assuma a responsabilidade de avaliar cada output contra a verdade no terreno. A reprodutibilidade não. A reprodutibilidade permite que o output seja tratado como facto e que o humano seja reposicionado a jusante dele.

O reposicionamento é a parte que o discurso raramente nomeia. O perito já não é o autor da análise. O perito é o revisor de qualidade da análise do modelo. O conhecimento de domínio é descrito como «mais valioso do que nunca» — não porque a perícia esteja a ser elevada, mas porque a perícia está a ser redireccionada. A autoria move-se para o modelo. A verificação move-se para o humano. A responsabilidade, antes detida pelo perito, flutua agora entre os dois — inacessível de ambos os lados quando as consequências chegam.

A direcção assimétrica da investigação

Quando um sistema falha, a investigação move-se numa direcção previsível. Para baixo.

O técnico de turno é examinado primeiro. Depois o engenheiro que aprovou a release. Depois o auditor que assinou. Os processos são revistos. Os registos de formação são puxados. Os logs do turno são escrutinados. Onde a falha puder ser localizada nas acções ou omissões de um indivíduo, o inquérito tende a assentar aí.

As investigações raramente sobem com a mesma intensidade. A decisão orçamental de dois anos antes que reduziu a equipa em trinta por cento. A directiva executiva que fixou um prazo de entrega impossível. A métrica aprovada em conselho que incentivou o atalho. A escolha estratégica de adiar a modernização a favor do retorno sobre capital do trimestre seguinte. Estas decisões estão a montante da falha. Estão normalmente mais próximas dela, em termos causais, do que as acções do técnico naquele dia. São também, estruturalmente, mais difíceis de investigar. Não há log de turno para uma reunião de orçamento. Não há registo de formação para uma prioridade estratégica. Os artefactos que existem para decisões séniores — actas, dossiês de conselho, notas de aconselhamento — são escritos para serem infalsificáveis. Registam decisões numa linguagem que as distribui pela sala.

Esta assimetria não resulta de má-fé dos investigadores. Resulta de onde os artefactos são densos e de onde os artefactos são esparsos. A investigação flui para a documentação densa. O dia do técnico está densamente documentado. A estratégia do executivo está esparsamente documentada. A investigação vai para onde há alguma coisa para ler.

O determinismo da AI amplifica esta assimetria. O output do modelo está densamente registado. As decisões de instalar o modelo, de definir os seus dados de treino, de fixar a sua função objectivo, de aceitar os seus modos de falha conhecidos, normalmente não estão. As investigações após falhas relacionadas com AI tendem a concentrar-se no modelo — o prompt, o tuning, os outputs, as alucinações — e raramente trazem à superfície a decisão executiva que colocou o modelo no caminho da consequência. A documentação densa abafa a documentação esparsa. As decisões que mais importaram são as menos disponíveis para exame.

O argumento de que o principal desafio da AI é a reprodutibilidade lê-se melhor como uma confissão involuntária.

A reprodutibilidade resolve o problema das decisões que não conseguem ser defendidas. Não resolve o problema das decisões que estão erradas. A utilidade corporativa de um output que pode ser citado com fiabilidade é grande. A utilidade corporativa de um output que está fiavelmente correcto também é grande, mas é mais difícil de produzir, exige envolvimento pericial sustentado, e não rende a cobertura procedimental que o output citável-mas-errado rende. Perante a escolha, o sistema gravita para a mais barata das duas.

O determinismo é apresentado como a solução do problema da AI. É, de facto, a versão AI de uma operação corporativa mais antiga: a produção de decisões cujo decisor não consegue ser localizado quando as consequências chegam. O framework, a metodologia, o benchmark, o relatório da consultora — e agora o modelo — cada um deles um artefacto estruturalmente semelhante que permite que a decisão exista sem que o decisor exista.

A novidade no caso da AI é que o deslocamento opera agora mais depressa, escala mais longe, e acrescenta uma camada de opacidade que nem os artefactos procedimentais do passado igualavam. Um conselho de administração pode ler um relatório de estratégia. Um conselho de administração não pode auditar um modelo de forma significativa. O artefacto recuou mais um passo da interrogação, e o decisor mais um passo da responsabilidade.

Da próxima vez que uma organização anunciar que «instalou AI para tomada de decisão», a pergunta que vale a pena fazer não é se o modelo é preciso, justo ou alinhado. Essas são perguntas reais, e são também as perguntas que o sistema está montado para absorver sem produzir responsabilidade.

A pergunta mais dura é a que o sistema está estruturado para evadir.

Que decisão, exactamente, já não consegue ser rastreada até um decisor humano?

Se a resposta for «muitas», a instalação não é um feito técnico. É uma operação de responsabilidade. O modelo está a desempenhar a função que o framework, a metodologia e o relatório da consultora desempenharam antes dele — apenas mais depressa, mais opacamente, e com menos impressões digitais deixadas para trás.