2025年4月6日 星期日

自建 LLM AI 服務:本機架設 Ollama 和 Continue,實作 AI 輔助程式開發

沒有留言:
 



大家開發上可能用過 GitHub Copilot、ChatGPT、Cursor 等等強大的 AI 雲端助手;

而開發者自己架設一套本機的 AI coding 環境很重要,可以避免被平台綁住,也可以更了解目前開源 AI 的進展,

這邊推薦一個很成熟的組合: Ollama + Continue (VS Code plugin

那就開始吧!




一、Ollama:本機環境模型執行平台


Ollama 是一個可以讓你在自己電腦上快速跑起 LLM(像是 Mistral、LLaMA、Gemma 等)的工具。支援 macOS、Windows、Linux,安裝十分簡單:

官網下載:https://ollama.com/download


基本上使用介面都包得很好,不需要額外下指令:
ollama run mistral

這行指令會自動下載並啟動 Mistral 模型(建議初學者從這款開始),服務會跑在 http://localhost:11434

切換模型方式:

ollama pull llama3
ollama run llama3

🔍 其他推薦模型:llama3gemmacodellama, ...都可以直接 run



二、Continue:VS Code AI 助手


Continue 是一個 VS Code 擴充套件,支援連接各種模型(OpenAI、Anthropic、Ollama...)幫你完成很多日常開發任務:程式碼補全、重構建議、單元測試生成、段落解釋、自定義 Prompt 協作... 

搭配 Ollama 使用,可以達成全離線、隱私安全的 AI 助手


安裝方式很簡單,同一般 VS Code 插件:

  1. 打開 VS Code → 安裝 Extension:Continue

  2. 安裝後按照 extension 提示把 model 裝一裝


設定完後,就可以在側邊 Continue 面板輸入指令,或是直接在程式碼區段上按右鍵呼叫 AI。

官方的例子建議操作熟悉一下,都是很好的示例



LLM Model 使用設定檔 (包含 MCP Servers 相關設定) 會在 .continue/config.yaml



[note] MCP (Model Control Protocol)
MCP 是讓 LLM 可以獲得外部資料和服務 (延伸感知與行動能力)的一個通訊協定,方法是執行大型語言模型的 MCP host,可以和提供特定功能的 MCP servers 進行溝通。






三、常見的開發情境痛點


這邊列舉常見的開發情境痛點,幾項用 AI 特別有優勢的情境: 
  • 解釋老程式碼維護老專案、看不懂別人寫的東西,用 AI 工具幫忙很省心。選一段請它解釋「這段在做什麼?」去掌握邏輯。 
  • 補全與重構寫一段 Python code,選起來請它「幫我優化」,它就會吐出更乾淨的版本。 
  • 幫你寫測試直接叫它「寫個單元測試」,省去自己重複產資料、模擬輸入的時間。 

至於像網路連線,debug 這類,可能相對比較不穩定,不一定能產出你要的結果,但還是可以試試看:)




四、Agent Mode: 接下來的發展趨勢


接下來的更新,往代理模式(Agent Mode)發展的趨勢越來越明顯,下面是官網 25 年 3 月的 release:


2025年3月更新(版本1.99)新功能:

  1. 代理模式(Agent Mode):現在在穩定版中可用,啟用後可以使用新的內建工具,例如抓取網頁內容、查找符號引用和進行深度思考等功能。

  2. 程式碼編輯:全新的「下一編輯建議(Next Edit Suggestions)」功能正式推出,讓 AI 驅動的程式碼修改更加流暢,並減少編輯過程中的干擾。

  3. 聊天功能(Chat):使用者現在可以使用自己的 API 金鑰來接入更多語言模型,並輕鬆在問答、編輯和代理模式之間切換。

  4. 筆記本編輯(Notebook Editing):支援無縫創建和編輯筆記本,並全面支援代理模式和編輯模式。

這次更新透過智能程式碼建議、更深入的外部工具整合,並改善工作區搜尋速度和準確度,進一步提升開發者的生產力



結語


本機環境的 LLM AI 有能力的話,盡量自己建一組,可以大幅提高跨平台優勢,不用被平台綁定。

Ollama + Continue 安裝簡單、模型自由切換、使用者體驗佳,用起來很絲滑舒適:

  • 補全幾乎無延遲

  • 所有內容都留在本機,不用擔心敏感程式碼上傳出去

  • 模型可自由換、甚至自行 fine-tune,彈性高

但也有小提醒:

  • 建議用 Macbook M 系列跑起來比較順,或是自建跑 AI 的運算 server





References


Ollama

Continue - Codestral, Claude, and more
https://marketplace.visualstudio.com/items?itemName=Continue.continue

使用 Ollama 和 VS Code 的 Continue 插件在本地實作 AI 輔助程式編寫
https://kxq.io/archives/localai-assistedcodewritingwithollama




沒有留言:

張貼留言

技術提供:Blogger.