Governança de agentes de IA: quem responde quando o agente erra?

A pergunta mudou de lugar. Na primeira onda da IA generativa, a preocupação era "e se a IA disser algo errado?". Com agentes autônomos, vira "e se a IA fizer algo errado?". A diferença não é semântica: um chatbot erra na resposta, um agente erra na ação. Ele consulta sistemas, acessa informação corporativa, mexe em ferramentas, executa tarefas e decide dentro de limites que a própria empresa definiu.

O problema é que a governança de agentes de IA não anda na mesma velocidade da adoção. Os números mostram essa distância. Um estudo global da IBM aponta que 61% dos CEOs entrevistados já adotavam agentes de IA ou se preparavam para implementá-los em escala. A McKinsey registra que 40% dos profissionais de grandes organizações (receita acima de US$ 1 bilhão) relatam escalar agentes, contra 27% no levantamento anterior. Do outro lado, a Deloitte, com mais de 3,2 mil líderes em 24 países, mostra que só 21% das organizações têm um modelo maduro de governança para IA agêntica, e apenas 13% dizem ter governança adequada para lidar com esses agentes.

Na prática, a maioria está colocando agente em produção sem ter respondido à pergunta que importa: até onde queremos permitir que nossos agentes decidam sozinhos? Este texto é sobre essa resposta, aplicada ao chão de operação de PMEs e middle market, não ao debate regulatório em abstrato.

Por que a responsabilidade começa antes do erro

"Quem responde quando o agente erra?" só faz sentido depois de definir quem autorizou o quê. O erro é sintoma. A causa está nas decisões tomadas antes da implantação: quem liberou o acesso aos dados, quem permitiu a ação automática, quem definiu o nível de erro aceitável.

Na minha operação, a pergunta que antecede qualquer agente em produção não é técnica. É de responsabilidade. Quem assinou a liberação daquele agente para escrever no CRM, para aplicar desconto, para cancelar pedido? Se a resposta for "ninguém, ele só foi configurado assim", já existe um problema de governança.

A governança de agentes de IA é processo contínuo, não documento único assinado uma vez. Ela vive na operação: muda quando muda o fluxo, quando entra um novo canal, quando o agente ganha uma ferramenta nova. Um PDF de política de IA na gaveta não supervisiona nada. Vale lembrar o que o teste do Dots da OpenAI já mostrou sobre automação real (leia também: agentes de IA para empresas): agente em produção é outro jogo.

Passo 1: Mapeie as decisões que o agente pode tomar sozinho

Antes de discutir limite, é preciso inventário. Liste todas as ações do agente no atendimento no WhatsApp, no follow-up, nas vendas e no CRM. Depois classifique cada uma por impacto:

• Baixo impacto: responder dúvida simples, confirmar horário, enviar link de agendamento.
• Médio impacto: qualificar lead, enviar proposta padrão, mover etapa do funil no CRM.
• Alto impacto: fechar venda, aplicar desconto fora da tabela, emitir reembolso, cancelar pedido, responder reclamação grave.

A classificação é o que separa autonomia total, autonomia com supervisão e aprovação humana obrigatória. Um agente que qualifica lead pode operar sozinho. Um agente que aplica desconto acima de um percentual definido não pode. Parece óbvio escrito assim. Na prática, o que vejo é agente com permissão ampla porque ninguém parou para listar o que ele faz de fato.

Passo 2: Estabeleça limites claros de autonomia

Monte uma matriz de autonomia: para cada tipo de decisão, defina se é automática, se exige aprovação humana ou se é proibida. A fronteira precisa ser intencional, não definida pela capacidade da tecnologia. Só porque um sistema consegue executar determinada tarefa não significa que ele deveria ter autorização para fazê-la.

O AI Act europeu serve como referência de boas práticas mesmo para quem não opera na Europa. Ele distribui obrigações entre fornecedores e organizações responsáveis pela implantação, com exigências de monitoramento, documentação, rastreabilidade e supervisão humana para sistemas de alto risco. Traduzindo para a operação: se o agente pode gerar efeito relevante sobre cliente, dinheiro ou dado pessoal, ele precisa de registro e de humano no circuito.

Envolva jurídico e compliance para validar os limites, especialmente em setores regulados. E documente. Limite que não está escrito e comunicado, inclusive aos fornecedores de tecnologia, não existe na hora do incidente.

Passo 3: Defina pontos de aprovação humana

Supervisão humana de agentes de IA só funciona se for viável. Não adianta criar fila de aprovação que ninguém consegue revisar. Identifique os momentos em que uma pessoa precisa revisar antes da execução:

• Antes de enviar proposta comercial com condição especial.
• Antes de cancelar pedido ou estornar valor.
• Antes de responder reclamação grave ou cliente em risco de churn.
• Antes de qualquer ação fora da matriz de autonomia.

Defina prazo de aprovação e o que acontece se ninguém aprovar. O agente aguarda? Segue o fluxo padrão? Escala para o gestor? Essa decisão precisa estar escrita, senão o agente improvisa. E garanta que o time tenha tempo e ferramenta para revisar. Aprovação humana sem capacidade de revisão é teatro de governança.

Passo 4: Implemente uma trilha de auditoria de IA

Registre cada decisão do agente: o que foi decidido, com base em quais dados, qual ação foi tomada e quem aprovou, se houve aprovação. A trilha de auditoria de IA precisa ser compreensível para pessoa não técnica. Log que só o engenheiro lê não serve para o gestor que precisa explicar o incidente ao cliente.

Use log estruturado e guarde pelo tempo necessário para atender requisito legal e operacional. A trilha tem duas funções: identificar causa raiz de erro e ajustar limites de autonomia com base em evidência, não em impressão. Sem ela, toda discussão sobre o que o agente fez vira disputa de memória. É a mesma lógica que defendo em governança de agentes de IA na empresa: o alarme dos laboratórios precisa virar controle operacional.

Passo 5: Comunique a responsabilidade e treine o time

Deixe claro quem responde por cada tipo de decisão: o dono do processo, o gestor, o time de TI ou o fornecedor. Responsabilidade difusa é responsabilidade de ninguém. Treine a equipe para reconhecer quando o agente está fora dos limites e como intervir. Crie canal para reportar erro e comportamento inesperado, sem punição a quem reporta.

O objetivo não é punir. É aprender e corrigir rápido. Agente que erra e ninguém percebe é pior que agente que erra e o time identifica na hora.

Passo 6: Monitore, revise e ajuste continuamente

Estabeleça métricas de desempenho e de erro. Faça revisão periódica dos limites de autonomia com base nos incidentes e nas mudanças do negócio. Coloque governança de agentes de IA na pauta de reunião gerencial, não só na técnica.

O contexto ajuda a dimensionar a urgência. A Gartner projeta que a empresa média da Fortune 500 poderá usar mais de 150 mil agentes de IA até 2028, contra menos de 15 em 2025. A Deloitte registra que 74% esperam usar agentes pelo menos moderadamente até 2027. A McKinsey mostra que quase dois terços das organizações veem segurança e risco como principal obstáculo à expansão, com 74% apontando imprecisão e 72% citando cibersegurança como riscos altamente relevantes. Ou seja: o freio já existe. O que falta é transformar o freio em processo.

Checklist prático de governança de agentes de IA

• Mapeei todas as decisões que o agente pode tomar?
• Defini limites de autonomia por tipo de decisão?
• Estabeleci pontos de aprovação humana obrigatórios?
• Implementei trilha de auditoria acessível a não técnicos?
• Comuniquei responsabilidades e treinei o time?
• Tenho processo de revisão e ajuste contínuo?

Se alguma resposta for "não", o agente está em produção sem governança. Na minha visão, o caminho mais seguro para quem está começando é rodar em modo sombra antes de liberar ação: o agente sugere, o humano executa, e você mede quantas sugestões estavam certas. Só depois disso a autonomia avança, degrau por degrau, com trilha de auditoria ligada. Para quem quer o passo a passo depois de um incidente, vale ver os 7 passos práticos para PMEs.

Perguntas frequentes

Preciso seguir o AI Act europeu se minha empresa é brasileira? Não há obrigação direta se você não opera na Europa. Mas o AI Act serve como referência de boas práticas, porque exige monitoramento, documentação, rastreabilidade e supervisão humana para sistemas de alto risco. Essas exigências são um bom padrão mínimo para qualquer operação que coloque agente em contato com cliente, dinheiro ou dado pessoal.

Quem responde quando o agente de IA erra? Na prática, quem autorizou a ação. A responsabilidade começa antes do erro, nas decisões sobre dados acessíveis, ações automáticas e tolerância a falhas. Se ninguém assinou essa liberação, o problema é anterior ao erro do agente: é falha de governança na implantação.

Qual a diferença entre autonomia total, autonomia com supervisão e aprovação humana? Autonomia total: o agente executa sem revisão. Autonomia com supervisão: o agente executa, mas a ação fica registrada e sujeita a revisão posterior. Aprovação humana: o agente só executa depois que uma pessoa autoriza. A classificação depende do impacto da ação, não da capacidade técnica do agente.

Como saber se meu agente está agindo fora dos limites? Com trilha de auditoria e métricas de erro. Registre cada decisão, o dado usado e quem aprovou. Sem log estruturado, você descobre o problema pelo cliente, que é o pior canal possível.

Preciso de equipe técnica para implementar essa governança? Não para definir as regras. A matriz de autonomia, os pontos de aprovação e a política de responsabilidade são decisões de negócio. A implementação técnica da trilha de auditoria e dos controles pode ser feita com fornecedor ou time interno, mas a definição do que o agente pode fazer é do dono do processo.