• StarFox

    最近正在用 Cursor 做开发,Cursor 的实时活动挺好用的。在 iPhone 上的完全体实时活动可以看到各个 Task 的情况和运行时长;在 Apple Watch 上只有削减版的实时活动了,但也能看见正在运行着的 Task 数量,并且当某个 Task 已经完成的时候也可以有结束提示。

    但是缺点就是,很多时候不带手机只带 Apple Watch,只能接收到任务完成的提示,不能够发起任务,也不能查看到任务详情。最近研究了一下,有这样一个想法:

    能不能做到在 Apple Watch 上开发一款软件能够直接通过语音命令自己的 AI Agent?

    大体的技术思路如下:

    - 给 APP 嵌入开源的语音转写服务(例如 OpenCode 的语音转写服务),实现语音本地转写。

    - 在保持 Apple Watch 与 iPhone 连接的情况下,通过语音输入服务将 Apple Watch 的语音转写后发送到 iPhone 上,使用接入的文本 API 进行处理。

    - 得到结果后,使用合成音频在 Apple Watch 上进行语音回复,实现交互。

    - 同时赋予这个小 Agent 几个 Tool Calling,允许小 Agent 通过 SMS 等转接接口直接向 Pi Agent 或 OpenClaw 这样的 Agent 发信息,实现直接在手表上指挥自己的 AI。

    核心难点可能在于网络连接和 Apple Watch 的性能。

    首先在 Apple Watch 上直接用端侧模型肯定是不现实的,大概率还是要么依靠 iPhone 上的 AI,要么依靠互联网上的 AI。

    如果是互联网上的 AI,哪怕不连接 iPhone 直接连 Wi-Fi,应该也可以通过内置 API 实现,但还需要考虑上下文连续性。

    如果接入到具有 Apple Intelligence 的 iPhone,理论上可以直接通过本地的 Apple Intelligence 端侧模型来发送消息给自己的 Agent。后续还可以接入 Hook 或其他方式兼容更多的 AI Agent,这样后续还可以通过实时状态提醒,直接在 Apple Watch 上展示应用的 Agent Task 运行状态。

    我个人专业性不强,仅作为一个想法,想听听各位佬的意见。

    主楼
  • 路边一条狗

    那些虾马什么的都可以直接连微信,给它发一条语音就可以开始agent任务了。

    不是让虾马的agent干活,是让虾马理解你的意思,然后他给其他cli发任务。

    #1

发表回复

登录后回复