Um agente capaz de enxergar uma tela, mover o mouse e digitar parece resolver o maior obstáculo da automação empresarial: o sistema antigo que não tem API. Ele usa a mesma interface que a pessoa já usa e pode atravessar aplicações diferentes sem esperar uma grande modernização.
A possibilidade é real, mas “consegue clicar” não significa “pode operar sem controle”. Interfaces mudam, elementos se deslocam, sessões expiram e mensagens inesperadas aparecem. Computer use é uma nova opção de integração; não é uma licença para transformar toda tela em API confiável.
Em uma frase
Use computer use como ponte delimitada quando não houver contrato melhor, com confirmação de estado e supervisão proporcional — nunca como acesso visual irrestrito.
A dor dos sistemas que só conversam por pixels
Muitas operações dependem de software sem documentação, API suportada ou equipe disponível para alterar o núcleo. A pessoa copia dados, escolhe menus e interpreta mensagens. RPA tradicional automatiza uma sequência conhecida, mas pode ficar frágil quando a interface varia. Um agente visual promete se adaptar ao que aparece.
Essa adaptação também aumenta a superfície de decisão. Um botão parecido, uma janela sobreposta ou uma instrução maliciosa numa página pode mudar o caminho. Se o agente estiver autenticado como administrador, a flexibilidade vira raio de dano. E se ninguém confirmar o efeito no sistema, uma animação visual pode ser confundida com conclusão.
Os próprios benchmarks recomendam humildade
A apresentação técnica do Computer-Using Agent da OpenAI descreve interação por pixels, mouse e teclado sem API específica. Na avaliação publicada em 2025, o sistema alcançou 38,1% no OSWorld para tarefas completas de computador, contra 72,4% atribuído a humanos, e a empresa recomendou supervisão em cenários de sistema operacional.
Benchmarks envelhecem e não medem o sistema da sua empresa. Ainda assim, o resultado expõe uma diferença importante entre navegar e garantir consequência. Modelos atuais podem ter avançado, mas login, autorização, mudança de layout, estado concorrente e prompt injection continuam exigindo uma arquitetura ao redor da percepção visual.
Exemplo composto: uma ordem num ERP sem API
Em um exemplo composto, o ERP de manutenção só permite encerrar ordem pela tela. A empresa mantém leitura de status por exportação suportada e usa computer use apenas para preencher três campos e submeter. A sessão tem usuário técnico restrito; a ferramenta aceita uma ordem por vez e não pode navegar fora do módulo.
Antes do clique final, uma regra verifica equipamento, responsável e campos. Depois, outra leitura confirma status e número do evento. Divergência abre exceção humana e bloqueia retry automático. A interface visual é um adaptador estreito, não o lugar onde o agente decide sozinho o que deve acontecer.
Uma ordem de preferência para integrar
Prefira API suportada ou evento quando existir. Use uma fachada ou servidor MCP para publicar capacidades reutilizáveis quando o legado possui procedure, serviço local, arquivo ou fila. Considere RPA quando o caminho é estável e determinístico. Reserve computer use para variação visual que realmente exige interpretação e mantenha a tarefa curta.
Independentemente do adaptador, separe decisão de execução. O agente interpreta intenção e contexto; políticas validam acesso e alçada; a ferramenta executa com limite; uma fonte confirma o estado. Capture imagem e eventos suficientes para auditoria sem gravar indiscriminadamente dados pessoais ou segredos exibidos na tela.
Controles mínimos para um agente visual
- Conta dedicada, menor privilégio e ambiente ou módulo delimitado.
- Ação sensível confirmada por política ou pessoa antes do clique.
- Tempo, passos, domínios e tentativas limitados por execução.
- Estado final verificado por dado, evento ou leitura independente.
- Teste de mudança de layout, sessão expirada, janela inesperada e instrução maliciosa.
Como a Uiless ajuda
A Uiless não depende de computer use para transformar qualquer tela em integração. A abordagem prioriza ferramentas por contrato, APIs, gateways e MCP; um adaptador visual pode entrar somente como capacidade limitada quando o sistema não oferece fronteira melhor.
Antes da execução, identidade, empresa, permissão e aprovação passam pelos mesmos gates. Depois, o resultado precisa deixar evidência. Assim, voz ou WhatsApp não entregam ao agente um desktop aberto: entregam uma intenção validada para uma operação específica.
Compare os caminhos em API, RPA ou integração direta e veja como criar um gateway privado para o legado.
