Computer Use
Uso de computadora
En una frase
Computer Use: la capacidad de un modelo de operar una computadora como lo haría una persona: ver la pantalla, mover el cursor, hacer clic y escribir.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Muchas tareas no tienen API: hay que entrar a un sitio web, llenar formularios y navegar menús. Con computer use, el modelo recibe capturas de pantalla, decide qué hacer («clic en el botón Guardar») y el sistema ejecuta esa acción. Repite hasta terminar.
Nivel técnico
Profundizando
Combina un modelo multimodal que interpreta capturas de pantalla (o el árbol de accesibilidad) con herramientas de acción: mover el mouse a coordenadas, hacer clic, teclear y desplazarse. Anthropic lanzó una versión pública en beta en octubre de 2024, y otros proveedores ofrecen capacidades similares. Retos: precisión en la interfaz, velocidad, y seguridad frente a Prompt Injection en páginas web y acciones irreversibles; se recomienda ejecutarlo en entornos aislados y con supervisión humana.
¿Por qué importa?
Permite automatizar software que nunca fue diseñado para integrarse con IA.
¿Dónde se utiliza?
- Automatización de tareas web
- Pruebas de software
- Llenado de formularios
- Migración de datos entre sistemas
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- AI AgentUn sistema en el que un modelo de IA decide por sí mismo qué pasos dar y qué herramientas usar para cumplir un objetivo.
- Multimodal ModelUn modelo capaz de procesar y a veces generar varios tipos de información, como texto, imágenes, audio o video.
- Tool CallingLa capacidad de un modelo de solicitar el uso de herramientas externas —buscar, calcular, consultar APIs— y usar sus resultados para responder.
Continúa aprendiendo
- Prompt InjectionUn ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.
- Autonomous AgentUn agente que puede trabajar durante periodos largos y tomar muchas decisiones seguidas con poca o ninguna intervención humana.
Conceptos relacionados
Aparece en la ruta Aprende AI Agents.