计算机操作（Computer Use）：当 AI 控制鼠标和键盘时

什么是 Computer Use

普通的工具使用调用的是定义清楚的函数。Computer Use 更进一步：模型能看到屏幕截图，然后控制鼠标和键盘——点击、打字、滚动——就像坐在电脑前的人一样。Anthropic 在 2024 年 10 月随 Claude 3.5 Sonnet 以 beta 形式推出了这项能力，是第一个具备这种功能的大模型。

整个流程是如何运作的

模型把一张截图作为上下文，据此判断该点哪里、该打什么字，把这个动作以结构化形式返回，动作被执行，然后截一张新的图——循环重新开始。这和普通工具使用是同一套 tool_use/tool_result 循环，只不过这里的“工具”是屏幕，而不是业务逻辑。

它有什么用

Computer Use 能操作那些根本没有 API 的应用：老旧软件、不常见的界面、浏览器工作流。一个浏览器 agent 就能像人一样，点着鼠标在网页里操作。

局限性

Anthropic 自己也提醒：点击坐标和工具选择可能不准确，模型可能出现幻觉，面对不熟悉的界面时可靠性会下降。更大的风险在于：藏在网页或图片里的指令可能操纵模型（prompt injection）——由于模型能完全访问屏幕，这个风险比纯文字场景更高。