Claude新功能发布及AI与Quicker结合的一些展望

昨天，10月22日，Anthropic 更新了他们的 Claude 3.5 模型，现在是 claude-3-5-sonnet-20241022 了，号称超越o1，目前最强。同时他们还发布了一项新的功能，我觉得和 Quicker 比较相关，那就是 computer use。

简单浏览了一下，其实我觉得使用方式和 Tool use 还比较相像，但应该是在和计算机的交互上进行了更针对性的训练，以及可以根据反馈的结果（计算机屏幕内容）进行实时、连贯的操作。

这代表 AI 操作电脑的细粒度提升了。我看官方的实现 Demo 中用 python 写了 ”移动鼠标点击、滚动、查看文件或目录的内容、替换文件中的字符串……“ 一系列电脑操作让 AI 调用。都算是 Quicker 已经有了的东西，把 Quicker 的步骤参数定义写成 JSON 传入 AI，然后让 Quicker 读取 AI 返回的JSON 调用 Quicker 步骤实时地、一步一步地操作电脑，每一步之后还能截屏让 AI 评估结果，决定下一步操作。

像一些繁琐的、对普通人来说又不那么容易自动化的操作，就可以让 AI 来做。比如：在一个网站上查找数据汇总到一个表格里；从一个本地文件里读取数据填入网络表单中；把一堆凌乱的文件归档整理……

刚好，AI 返回的内容都是 JSON ，可以把一些有重复价值的操作记录下来，转成动作定义 JSON，也相当于实现了 AI 生成动作。还更加个性化。