使用LM Studio輕鬆在本地端以API呼叫大語言模型(LLM)
最近上課常被問到,如何在地端環境搭建出大語言模型(LLM),並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低,即便可能比較安全),但被問多了,也就開始遍尋相關的解決方案,看看有沒有什麼最簡單的方式,可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ,它就是一款設計來運行大型語言模型(LLM)的平台,有個算是挺優雅的整合環境,讓一般 end-user 或開發人員,都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架,當然,最重要的是,它是免費的。 下載安裝 都很容易,我就不多說。 安裝好之後,你可以看到首頁中已經呈現了許多 Hugging Face上的模型: 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型,透過LM Studio下載到local之後,就可以直接載入(下圖一): 隨手設定一下 system prompt(上圖二),然後,就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話),你會發現,原來有好的設備(GPU),運行的速度可以如此之快。 Local Server 對於開發人員來說,它還有個超級更友善的功能。 LM Studio本身還提供一個 local server,可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能,例如: 上圖是我們開啟 LM Studio中 Local Server功能後的結果,你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現,我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理,請一律用繁體中...
留言
ScottGu
2009/07/10
Today we officially shipped the final release of Silverlight 3.
Silverlight 3 Features :
http://weblogs.asp.net/scottgu/archive/2009/07/10/silverlight-3-released.aspx
The VS 2008 Tools for Silverlight download provides project support, intellisense,
compilation, and debugging for Silverlight 3 applications.
The next release of Visual Studio - VS 2010 - will add to this and provide a fully
interactive WYSIWYG designer for Silverlight (including data binding support within the designer).
--------------------------------------------
中文版的 VS 装不了
http://www.cnblogs.com/NineFlowers/archive/2009/07/10/1520497.html
http://www.cnblogs.com/coolcode/archive/2009/07/11/1520839.html
http://www.cnblogs.com/coolcode/archive/2009/07/10/Silverlight3.html
我的机器安装了英文 VS 2008, VS 2010 beta1
安装 VS 2008 的 silverligt tools,2.0 版和 3.0 版的
VS 2010 里可以拖放控制項了,而且可以选择 2 和 3 版本
刚得到消息 据说到 4.0 就支持摄像头和麦克风了