新增功能前,先請 AI 找出要改哪些檔案
請 AI 找出新增功能會動到哪些程式檔案,Haiku 和 Opus 找到的數量只差 1 個,費用卻差了十幾倍?
他拿出 Opus 已完成的任務,讓其他模型用相同提示與檔案重做,再核對結果。
其中一題,新增功能實際涉及 48 個檔案,Haiku 5.5 找到 44 個,Opus 5.5 找到 45 個。
兩者都設為 High,也就是這次選用的推理強度;Haiku 花約 0.44 美元,Opus 約 6.17 美元。
光看這項工作,便宜的模型確實交出了很接近的清單。
換成查規則,答案還能直接用嗎?
這 6 項工作,除了找程式檔案,還有 3 項網路研究,以及 2 篇部落格文章的事實查核。
查運動聯盟的當季規則時,Haiku 沒能開啟官方 PDF,就改用上一季資料回答。
換成 Google Play 帳號規定,原作者整理了 12 個要點來核對,Haiku 答對 5 個,Opus 答對 12 個。
請它檢查文章也碰到麻煩:Haiku 找到 4 處真正的錯誤,卻同時把 30 處原本正確的內容判成錯誤。
如果照著這份建議修改,原本寫對的地方反而可能被改錯,還得再花時間確認。
原作者後來把 Haiku 的推理強度提高到 Xhigh,重做同一組工作。
這次它讀到了官方規則,研究結果也有改善,但文章查核仍把 28 處正確內容判成錯誤。
在這輪的 5 項網路工作中,Haiku 花約 2.28 美元、34 分鐘,Opus High 則約 4.81 美元、16 分鐘。
帳單較低,等待卻更久,拿到的查核結果也還不能直接採用。
先看工作結果,再決定模型怎麼分工
原作者在討論裡交代的做法,是保留 Haiku 搜尋程式碼,研究與事實查核交給 Opus。
找檔案可以拿實際清單比對,查規則得確認引用的是哪一季,檢查文章則要分清真正的錯誤和誤判。
同樣是請 Agent 工作,這幾件事需要核對的地方差很多,也就不能只憑模型的價格決定。
如果你正在考慮替工作流換模型,可以拿自己重複會做的一項工作,用相同資料與要求比較結果,再一起看費用和完成時間。
便宜模型交回的成果能通過原本的檢查,才真的省到了;如果多出重查、重改的時間,也得一起算進去。
圖:找檔案要核對清單,查資料還要確認引用與日期,圖中為案例示意。