HeyClicky 實測：比語音輸入更進一步的螢幕感知 AI

前言

每日分享實用工具直到去當兵 Day 72。

我是在 X 上看到創辦人 Farza 的 Demo 貼文，才知道 HeyClicky。它不是單純把語音轉成文字：它會在你按下說話鍵時讀取當下螢幕，理解你正在做什麼，再用語音或游標提示回應。

我第一個感覺是，它有點像把 Computer Use 的「看畫面、理解任務」能力，做成隨時能開口問的桌面助手。這個想法很酷，也很接近我想像中真正坐在旁邊協助工作的 AI。

來源與下載：

HeyClicky 可以做什麼

官方把它定位成住在 Mac 游標旁的 AI buddy。你可以直接問「這個畫面要怎麼做」，它會根據當前畫面用語音引導，並在介面上指出位置；說出 heyclicky agent，則可把研究、建立網頁等工作交給背景 agent。

所以它適合的不是只有打字輸入，而是這類需要畫面脈絡的問題：

在 Claude Code 裡，依目前專案或畫面協助寫 Prompt
看著 Gmail 的信件內容，協助處理回覆
在陌生軟體裡問「這個按鈕是做什麼」
依畫面內容直接理解你卡在哪一步

我實際試了幾次

我沒有直接訂 Pro，而是先用免費額度短測幾次。免費版目前每月只有 25 次額度，很快就會碰到上限；想把它當成每天都開著的工作工具，還是得用 Pro 才能深入體驗。

不過短測後，我確認 Demo 裡展示的核心感覺確實有做出來，不只是概念影片。它能把語音、畫面與游標提示放在同一個流程裡，和一般語音輸入工具的體驗差很多。

我遇到的多螢幕 Bug

我用雙螢幕測試時，請它講解操作任務，它有時會把標記或點擊位置放到另一個螢幕的相對座標。這表示它在多螢幕座標處理上還有細節要修。

因此我現在會把它當成很有潛力、但仍在快速打磨中的產品：單一螢幕或引導理解介面時很有意思；遇到需要精準操作的多螢幕工作，還是要自己確認游標位置。

隱私與開源狀態

這類工具一定要先知道它看得到什麼。官方隱私政策寫明，HeyClicky 會在你按下 push-to-talk 時於 Mac 本機擷取截圖與語音，並透過後端傳送給 AI 供應商處理；文件列出 Anthropic、OpenAI、AssemblyAI 與 ElevenLabs。不要在畫面上顯示不該交給第三方處理的敏感資料。

現行 HeyClicky App 不是完整開源產品。 Farza 有保留較早期的 Clicky 開源程式碼，採 MIT 授權；但 README 也明確說明，後續的新功能會維持私有。想下載最新 App，請以官方 HeyClicky 網站為準。

短測心得

我覺得 HeyClicky 最有意思的地方，不是「又一個可以講話的 AI」，而是它開始把畫面理解帶進即時互動裡。

它現在還有額度少、多螢幕定位不夠穩的問題，但方向很對。如果之後穩定度再提升，我覺得這會是我願意每天開著的 AI 工具之一。