最近上課常被問到,如何在地端環境搭建出大語言模型(LLM),並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低,即便可能比較安全),但被問多了,也就開始遍尋相關的解決方案,看看有沒有什麼最簡單的方式,可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ,它就是一款設計來運行大型語言模型(LLM)的平台,有個算是挺優雅的整合環境,讓一般 end-user 或開發人員,都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架,當然,最重要的是,它是免費的。 下載安裝 都很容易,我就不多說。 安裝好之後,你可以看到首頁中已經呈現了許多 Hugging Face上的模型: 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型,透過LM Studio下載到local之後,就可以直接載入(下圖一): 隨手設定一下 system prompt(上圖二),然後,就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話),你會發現,原來有好的設備(GPU),運行的速度可以如此之快。 Local Server 對於開發人員來說,它還有個超級更友善的功能。 LM Studio本身還提供一個 local server,可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能,例如: 上圖是我們開啟 LM Studio中 Local Server功能後的結果,你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現,我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理,請一律用繁體中
留言
上次聽您說
新書已經要上市了
可是等到現在
還沒看到耶
可以請問老師是哪家出版社
書名叫什麼嗎
我在過老師您的「Silverlight 權威講座」後,在實作一個網頁的時候,遇到了一個問題!我的程式碼是這樣子的:
protected void DynamicXaml1_OnMouseLeftButtonDown(string ElementName, int x, int y, int absX, int absY)
{
Class1.ElementView = ElementName;
Response.Redirect("test.aspx");
}
一開始在網頁上點這個「DynamicXaml1」的時候,它「馬上」就可以跳到"text.aspx"這個頁面!但是如果讓畫面停久一點,大概幾分鐘的時間,再點「DynamicXaml1」,那就會變成會lag幾分鐘才能跳至"test.aspx",有的時候還會整頁都當掉!能請問董老師這個是什麼原因嗎?謝謝您了!
有關於Silverlight和blend播放音效或音樂的問題想向您請教
Storyboard中是否可以定義我要在這個Storyboard跑到幾秒時,播放一組音效。
例如我想在A Storyboard播放到兩秒時,播放我的音效。
如果我的理解是對的,Silverlight中無論播放影片都是倚賴MediaElement。
但在blend中,當建立Storyboard後,並無法看到MediaElement的長度,也沒辦法決定它到底什麼時候要播放。
所以我如果要再某一段Storyboard播放到兩秒時,我必須要靠程式的作法,靠loop的方式去偵測Storyboard播放的位置,或是把Storyboard切成兩段,當第一段兩秒的Storyboard結束後,觸發結束事件,然後播放音效,再播放下一段動畫。
不過這樣在做動畫時,不是這麼的直覺,可能是因為我們比較習慣傳統剪輯軟體的觀念。
因此,是否是有其他方法可以達到這類效果,還請抽空指導,謝謝。
目前SL3的書籍我只有一本,就是BLOG首頁上的SL權威講座加強版, 這本加強版是SL2的紙本內容加上SL3的PDF電子檔, 所以我並沒有特別強調這本書.
目前SL3沒有專書, 原因很簡單, 因為 VS2010 beta 2已經出了, 而SL3在VS2010中已經可以透過所視及所得的方式開發, 這表示未來SL3(or SL4)的開發工具會和現在VS2008有所不同, 而VS2010預計明年Q1,Q2之間就會上市,因此屆時不管是SL3/SL4,都會有新書問世。