Computer Use (uso del ordenador)

Computer use es una herramienta de la API de Anthropic que permite a Claude operar una interfaz gráfica de escritorio: ve la pantalla mediante capturas, decide qué hacer y devuelve acciones concretas como mover el ratón, hacer clic o escribir texto. Claude no toca tu máquina directamente: propone acciones y es tu código el que las ejecuta, normalmente dentro de una máquina virtual o un contenedor aislado. Anthropic la presentó en octubre de 2024 como beta pública y ha ido actualizándola con cada generación de modelos.

Cómo funciona

Técnicamente es un caso particular de tool use. Declaras en la petición una herramienta de tipo computer con la resolución de la pantalla, y Claude responde con bloques tool_use que describen acciones. El ciclo es un bucle agéntico:

1. Envías la tarea y, si quieres, una captura inicial.
2. Claude devuelve una acción: screenshot, left_click con coordenadas, type, key, scroll, etc.
3. Tu entorno ejecuta la acción y devuelve el resultado, casi siempre una nueva captura.
4. Se repite hasta que Claude considera la tarea terminada.

Suele combinarse con otras dos herramientas definidas por Anthropic: una de bash para ejecutar comandos y un editor de texto para ver y modificar archivos. El identificador exacto de la herramienta y la cabecera beta dependen de la versión del modelo, así que conviene revisar la documentación oficial antes de fijarlos en código.

tools=[{
  "type": "computer_20250124",  # varía según el modelo
  "name": "computer",
  "display_width_px": 1280,
  "display_height_px": 800
}]

Por qué importa

Hasta su llegada, automatizar con un LLM exigía una API o una integración para cada sistema. Computer use abre la puerta a todo lo que solo tiene interfaz gráfica: ERPs antiguos, aplicaciones de escritorio, portales sin API o flujos que saltan entre varias herramientas. Para quien construye con Claude, las consecuencias prácticas son claras:

• Coste y latencia altos: cada paso incluye una imagen, lo que consume muchos tokens y alarga cada iteración.
• Infraestructura propia: necesitas un entorno controlado. Anthropic publica una implementación de referencia en Docker para empezar.
• Fiabilidad variable: funciona bien en tareas acotadas y repetitivas; en flujos largos aún comete errores de navegación.

Ejemplo y cifras

Un caso típico: rellenar un formulario web con datos de una hoja de cálculo. Claude abre el navegador, localiza los campos en la captura, hace clic en cada uno y escribe los valores, verificando con nuevas capturas. En su lanzamiento, Claude 3.5 Sonnet obtuvo un 14,9% en el benchmark OSWorld usando solo capturas, muy por encima de otros sistemas de entonces pero lejos del rendimiento humano. Los modelos posteriores han mejorado mucho esa cifra, por lo que conviene consultar la ficha del modelo concreto que uses.

Si quieres pasar del concepto a producción, el siguiente paso natural es aprender a construir agentes que actúan sobre herramientas reales, con bucles, permisos y supervisión bien diseñados.

Errores comunes

• Confundirlo con un MCP o un conector: estos dan acceso estructurado a un servicio; computer use actúa sobre píxeles. Si existe una API, casi siempre es mejor usarla.
• Ejecutarlo en tu máquina principal: cualquier texto visible en pantalla puede contener instrucciones maliciosas. La prompt injection es el riesgo número uno; aísla el entorno y limita credenciales y acceso a internet.
• Pensar que es lo mismo que Claude en Chrome: ese producto aplica una idea similar dentro del navegador, mientras que computer use es la herramienta de API que tú integras y controlas.
• Dejarlo sin supervisión: para acciones irreversibles (pagos, envíos, borrados) añade confirmación humana.