最近上課常被問到，如何在地端環境搭建出大語言模型(LLM)，並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低，即便可能比較安全)，但被問多了，也就開始遍尋相關的解決方案，看看有沒有什麼最簡單的方式，可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ，它就是一款設計來運行大型語言模型（LLM）的平台，有個算是挺優雅的整合環境，讓一般 end-user 或開發人員，都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架，當然，最重要的是，它是免費的。 下載安裝 都很容易，我就不多說。 安裝好之後，你可以看到首頁中已經呈現了許多 Hugging Face上的模型： 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型，透過LM Studio下載到local之後，就可以直接載入(下圖一)： 隨手設定一下 system prompt(上圖二)，然後，就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話)，你會發現，原來有好的設備(GPU)，運行的速度可以如此之快。 Local Server 對於開發人員來說，它還有個超級更友善的功能。 LM Studio本身還提供一個 local server，可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能，例如： 上圖是我們開啟 LM Studio中 Local Server功能後的結果，你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現，我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理，請一律用繁體中...
留言
silverlight2.0 它可以做到搜尋引擎最佳化 (Search Engine Optimization，簡稱 SEO),但是他不是把所有開發的檔案壓縮成.xap檔 ,他不是是壓縮檔格式,那這樣搜尋引擎是會怎麼去搜尋到裡面的內容
我在微軟 http://www.microsoft.com/taiwan/msdn/silverlightnet/GetStarted/default.aspx 的頁面想下載 Silverlight 3 的開發套件安裝，那因為我的 VS 2008 是中文版的關係，請問我需要注意什麼問題嗎？目前只有第一個項目（Silverlight3 Tools）有中文的版本，其它 4 個項目都是英文版本的，如果我下載來安裝的話會有問嗎？ @@"
請問您在研討會中播放的影片是否可以在網路上下載?我在Youtube上並沒有看到,請問您是在哪裡下載的,謝謝.