Computer use: cuando la IA controla ratón y teclado

Qué es computer use

El tool use normal llama a funciones claramente definidas. Computer use va más allá: el modelo recibe capturas de pantalla y después controla el ratón y el teclado — hacer clic, escribir, desplazarse — como una persona sentada frente al ordenador. Anthropic presentó esta función en beta en octubre de 2024 con Claude 3.5 Sonnet, el primer modelo grande en ofrecerla.

Cómo funciona el proceso

El modelo recibe una captura de pantalla como contexto, decide en función de ella dónde hacer clic o qué escribir, devuelve esa acción de forma estructurada, la acción se ejecuta, se toma una nueva captura — y el ciclo vuelve a empezar. Es el mismo ciclo tool_use/tool_result que en el tool use normal, solo que con la pantalla en lugar de lógica de negocio como "herramienta".

Para qué sirve

Computer use permite manejar aplicaciones que no tienen API: software antiguo, interfaces poco habituales, flujos de trabajo en el navegador. Un agente de navegador puede así ir haciendo clic en una web como si fuera una persona.

Los límites

El propio Anthropic advierte: las coordenadas de clic y la elección de herramienta pueden ser imprecisas, el modelo puede alucinar, y la fiabilidad baja en interfaces poco familiares. El peligro mayor: instrucciones ocultas en una página web o en una imagen pueden manipular al modelo (prompt injection) — con acceso total a la pantalla, el riesgo es mayor que con texto puro.