3d • 一般討論
AI Coding / 本地模型 / Coding Agent 工作流：用開源權重模型在本地建立 Coding Agent
【用開源權重模型在本地建立 Coding Agent】今天在 X 上看到 @rasbt 寫的內容，他提到最近整理了一篇新文章，專門教大家如何用開源權重模型在本地建立 coding agent，而且一切都在本機執行，完全不依賴雲端 API。他表示這篇文章的靈感來自很多人詢問他的設定方式，他也希望透過這份整理，鼓勵更多人開始嘗試用本地模型處理實際工作。他提到今年隨著更好的 LLM 和更好的 coding harness 出現，本地模型已經不只是玩具，而是可以拿來處理嚴肅工作的選項。文章內容是一份逐步指南，說明如何把本地 LLM 連接到本地 coding harness，例如很多開發者已經熟悉的 Claude Code 或 Codex。他也附上一份挑選模型時可以使用的評估清單。第一，檢查長上下文下的 RAM 使用量，確認模型是否適合真實工作，而不是只在短 prompt 裡表現良好。第二，測量 prefill 和 decoding 的 tok/sec，確認速度是否夠快，不會讓開發流程變得卡頓。第三，確認模型理論上具備足夠的工具呼叫能力，因為 coding agent 不只是聊天，而是需要讀檔、改檔、執行命令與回報結果。第四，把模型放進 coding harness 裡，用比較有挑戰性的任務測試它是否真的能完成工作。他也提到，當然還有更專門的工具可以把效能再壓榨得更好，但這篇文章的重點是提供一個保持彈性的入門套件。也就是說，使用者可以先用這套方式開始，之後隨時切換到新釋出的本地模型。如果某個任務目前的本地模型還處理不好，也可以在同一個熟悉的 harness 裡接回雲端模型。對想降低資料外流風險、控制成本，或只是想理解本地 agent 工作流的人來說，這篇比較像是一份可操作的起點。
0
0 comments
AI Coding / 本地模型 / Coding Agent 工作流：用開源權重模型在本地建立 Coding Agent
Suggested communities
Powered by