最近上課常被問到,如何在地端環境搭建出大語言模型(LLM),並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低,即便可能比較安全),但被問多了,也就開始遍尋相關的解決方案,看看有沒有什麼最簡單的方式,可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ,它就是一款設計來運行大型語言模型(LLM)的平台,有個算是挺優雅的整合環境,讓一般 end-user 或開發人員,都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架,當然,最重要的是,它是免費的。 下載安裝 都很容易,我就不多說。 安裝好之後,你可以看到首頁中已經呈現了許多 Hugging Face上的模型: 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型,透過LM Studio下載到local之後,就可以直接載入(下圖一): 隨手設定一下 system prompt(上圖二),然後,就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話),你會發現,原來有好的設備(GPU),運行的速度可以如此之快。 Local Server 對於開發人員來說,它還有個超級更友善的功能。 LM Studio本身還提供一個 local server,可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能,例如: 上圖是我們開啟 LM Studio中 Local Server功能後的結果,你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現,我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理,請一律用繁體中
留言
silverlight2.0 它可以做到搜尋引擎最佳化 (Search Engine Optimization,簡稱 SEO),但是他不是把所有開發的檔案壓縮成.xap檔 ,他不是是壓縮檔格式,那這樣搜尋引擎是會怎麼去搜尋到裡面的內容
我在微軟 http://www.microsoft.com/taiwan/msdn/silverlightnet/GetStarted/default.aspx 的頁面想下載 Silverlight 3 的開發套件安裝,那因為我的 VS 2008 是中文版的關係,請問我需要注意什麼問題嗎?目前只有第一個項目(Silverlight3 Tools)有中文的版本,其它 4 個項目都是英文版本的,如果我下載來安裝的話會有問嗎? @@"
請問您在研討會中播放的影片是否可以在網路上下載?我在Youtube上並沒有看到,請問您是在哪裡下載的,謝謝.