Computer Use: Wenn die KI Maus und Tastatur steuert

Was Computer Use ist

Normales Tool Use ruft klar definierte Funktionen auf. Computer Use geht weiter: Das Modell bekommt Screenshots vom Bildschirm zu sehen und steuert dann Maus und Tastatur – klicken, tippen, scrollen – wie ein Mensch, der vor dem Rechner sitzt. Anthropic hat diese Fähigkeit im Oktober 2024 mit Claude 3.5 Sonnet als Beta vorgestellt, als erstes großes Modell mit dieser Funktion.

Wie der Ablauf funktioniert

Das Modell bekommt ein Screenshot-Bild als Kontext, entscheidet basierend darauf, wohin es klicken oder was es tippen soll, gibt diese Aktion strukturiert zurück, die Aktion wird ausgeführt, ein neuer Screenshot wird gemacht – und der Kreislauf beginnt von vorn. Das ist der gleiche tool_use/tool_result-Zyklus wie bei normalem Tool Use, nur mit dem Bildschirm statt Business-Logik als "Tool".

Wofür das gut ist

Computer Use erlaubt es, Anwendungen zu bedienen, für die es keine API gibt: alte Software, ungewöhnliche Oberflächen, Browser-Workflows. Ein Browser-Agent kann sich so durch eine Webseite klicken, als wäre er ein Mensch.

Die Grenzen

Anthropic selbst warnt: Klick-Koordinaten und Tool-Auswahl können ungenau sein, das Modell kann halluzinieren, und die Zuverlässigkeit sinkt bei ungewohnten Oberflächen. Größere Gefahr: Anweisungen, die auf einer Webseite oder in einem Bild versteckt sind, können das Modell manipulieren (Prompt Injection) – mit vollem Bildschirmzugriff ist das Risiko höher als bei reinem Text.