使用 GitHub Models 上免費的LLM(大語言模型) 進行測試開發
對多數開發人員而言，GitHub 不僅是一個儲存程式碼的地方，更是一整套開發流程的中樞。從原始碼管理、Issue 討論、Pull Request 協作，到 CI/CD 整合，GitHub 提供了豐富的功能，支援現代軟體開發的各個階段。
這使得 GitHub 一推出 GitHub Models ，立即讓人眼睛一亮。這項功能對開發人員來說，堪稱是一大福音。它提供了多種 LLM（大型語言模型）的介接能力，並且開放免費使用，讓開發者在無需註冊 OpenAI、Azure 或其他雲端服務帳號的情況下，就能快速體驗 LLM 在程式設計與AI Agent 開發的應用潛力。
對於尚在試驗階段，或使用頻率不高的個人或小型團隊來說，這不僅省下了搭建本地模型環境的複雜度與資源消耗，也大幅降低了學習與導入門檻，真正做到「人人都能用 AI 來寫程式」。
如何使用
要使用 GitHub Models 相當簡單，你只需要有 GitHub 帳號(不管是否有付費均可)，即可從底下網址進入 Models :
https://github.com/marketplace/models
進入後，先在左上角選擇你想使用的 Model :
你會發現選擇琳瑯滿目，從 OpenAI 系列，到微軟的 Phi-3、DeepSeek、Llama 任君選用。
選擇好之後，你可以在測試區，輸入對談文字測試看看，會看到大語言模型的回應文字：
你還可以按下Compare：
去比較兩款不同的大語言模型，在回應上是否有所不同：
如果要調整 System Prompt、Max Tokens、Temperature 等長用參數，可以在右上方找到。
選擇好你想用的模型之後，如果想要著手開發，可以切換到 Code，這邊可以讓你選擇不同的開發技術，網頁上會依照你的選擇，出現相對應的程式碼範例：
注意，這邊的 API Endpoint 和官方模型有所不同，是唯一你在使用 GitHub Models 時需要調整的地方。
申請 Token
在呼叫該 API時，一樣會需要一個 token。
你可以在底下位置申請：https://github.com/settings/personal-access-tokens/new
進入後找到 Permissions，展開後選擇 Models，將其設為Read-Only：
然後選擇 Generate Token 即可:
Token 只會出現一次，長相類似底下這樣：
github_pat_11ABD******************SeedMnB
你必須自己保留起來，在到期之前，都可以使用。不管你使用哪一款 Model，都可以用同樣的一個 Token，不過當然，還是有流量的限制，依照 Model 的類型分為 Low、High、Embedding…等幾個不同的等級。依照你的 GitHub 帳號檔次的不同，使用量也有所差異，細節可以參考底下這邊:
https://docs.github.com/en/github-models/prototyping-with-ai-models
底下是透過 PostMan 使用該 Token 呼叫 Model 的範例：
GitHub Models 為開發者提供了一個低成本、低門檻的選擇，能夠在不申請額外雲端帳號或建置本地推論模型環境的情況下，快速測試和整合各種 LLM 功能。對於正在評估 AI 工具是否適合導入專案的團隊而言，這是一個很實用的起點。未來若使用頻率增加，也能再視需求轉向正式的 API 或自建服務，保有相當不錯的彈性，有興趣的朋友可以測試看看。
留言