Alô, Dr Victor? Quem manda em quem?

Por The Shift

Relatórios recentes indicam que sistemas capazes de executar tarefas dentro da infraestrutura corporativa já estão sendo implantados em larga escala, enquanto as estruturas de governança e segurança ainda estão em formação. Movimento que expõe uma diferença fundamental entre orientar um sistema e limitar suas ações.

Em setores como aviação, redes financeiras e infraestrutura industrial, sistemas críticos operam sob restrições técnicas que impedem determinadas operações. A engenharia de segurança nesses ambientes parte de um princípio simples: guardrails eficazes são aqueles que não podem ser contornados. Mas grande parte das proteções usadas hoje em modelos generativos opera em outra camada.

Técnicas como Reinforcement Learning from Human Feedback (RLHF), filtros de conteúdo e instruções de sistema procuram influenciar o comportamento do modelo por meio de treinamento e regras linguísticas. Atuam sobre probabilidades estatísticas geradas pelo modelo.

Esse paradigma de segurança foi suficiente enquanto a IA estava limitada a interfaces conversacionais. O impacto de falhas permanecia concentrado em respostas incorretas, desinformação ou conteúdo inadequado. A disseminação de agentes autônomos altera esse cenário. Sistemas baseados em agentes podem acessar bases de dados, executar chamadas de API, gerar código e automatizar fluxos operacionais dentro de softwares corporativos. Nesse contexto, a IA passa a atuar como componente operacional da infraestrutura da empresa.

Rich Isenberg, sócio da McKinsey, descreve essa mudança como uma transferência de direitos de decisão. Quando um sistema recebe autonomia para executar tarefas, ele passa a operar dentro de limites que precisam ser tecnicamente verificáveis.

Uma pesquisa da consultoria indica que cerca de 80% das empresas já observaram comportamentos de risco em agentes de IA, incluindo ações fora do escopo definido, decisões inesperadas e interações imprevistas com sistemas corporativos.

Ao mesmo tempo, o relatório “State of AI Security 2026”, da Cisco, registra que mecanismos de proteção baseados em linguagem continuam sendo contornados por técnicas de engenharia de prompts e manipulação de contexto.

O impacto desse tipo de exploração cresce quando modelos estão conectados a sistemas corporativos. Uma manipulação linguística que antes produzia apenas uma resposta inadequada pode resultar na execução de uma ação dentro da infraestrutura da empresa.

A Cisco descreve esse fenômeno como “excessive agency”: a capacidade de ação dos sistemas cresce mais rápido que os mecanismos de controle.Esse contexto ajuda a explicar por que executivos e conselhos começam a tratar segurança de agentes como um tema de arquitetura corporativa. Nenhuma empresa colocaria um funcionário novo para aprovar pagamentos no primeiro dia, sem limites de alçada e sem supervisão. Com agentes de IA, é exatamente isso que está acontecendo — em escala, e em velocidade que equipes humanas não conseguem acompanhar.

Conteúdo originalmente produzido e publicado por The Shift. Reprodução autorizada exclusivamente para a Abranet. A reprodução por terceiros, parcial ou integral, não é permitida sem autorização.