.NET Walker

颱風天，你在幹嘛? FB上，看到我一個朋友，在颱風假前立了 Flag ，說如果放假兩天，就要寫一篇RAG技術文件。 而我呢? 則是一整天都在上課。對，沒錯，在聽課。原廠的線上即時教育訓練內容(這可沒辦法因颱風而放假)，聽了一整天印度人的英文，頭暈腦脹。想轉換一下心情，來看一下最近要上的課程。 AI-900: Microsoft Azure AI Fundamentals 隨著AI持續發酵，感覺最近有點企業AI覺醒的fu~最近排了幾堂AI-900的認證課，AI-900 是一個很基礎的Course，但內容其實算挺扎實的。從Machine Learning開始，到 Azure 上既有 AI Services，諸如人臉、圖像、語音、文字辨識…等、最後還加上了生成式 AI 的介紹。 課程的對象是一般的非開發人員，因此裡面的 Labs 大多比 AI-102 (Designing & Implementing Azure AI Solution) 來的簡單。是一個很適合初階技術人員優先入手的證照。 不過，內容簡單歸簡單，其中有幾個 Lab 我覺得還蠻實用的，底下就是其中之一： Explore Microsoft Copilot in Microsoft Edge ref 這個 Lab 介紹了如何使用 Edge 內建的 Copilot 從無到有的完成一個商業企畫書，包含使用DALL-E產生Logo，使用 Copilot 產生 Word 企劃書，加上 ppt 投影片, 以及產生專業的 outlook 信件… 這些功能本來都是需要以 M365 中的 Copilot 來完成，但畢竟 M365 的 Copilot 需要額外付費，若沒有採購的話，Edge 內建的這套 Copilot 就是不錯的替代選擇。 可能大部分人都還不知道，可以透過 Edge 內建的 Copilot 完成類似 M365 中 Copilot 的功能。 底下這就是AI-900認證考試的原廠 Lab 操作流程: Explore Microsoft Copilot in Microsoft Edge 我把整個操作過程錄製了影片： 颱風天，總是得找點事情做。

最近上課常被問到，如何在地端環境搭建出大語言模型(LLM)，並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低，即便可能比較安全)，但被問多了，也就開始遍尋相關的解決方案，看看有沒有什麼最簡單的方式，可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ，它就是一款設計來運行大型語言模型（LLM）的平台，有個算是挺優雅的整合環境，讓一般 end-user 或開發人員，都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架，當然，最重要的是，它是免費的。 下載安裝 都很容易，我就不多說。 安裝好之後，你可以看到首頁中已經呈現了許多 Hugging Face上的模型： 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型，透過LM Studio下載到local之後，就可以直接載入(下圖一)： 隨手設定一下 system prompt(上圖二)，然後，就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話)，你會發現，原來有好的設備(GPU)，運行的速度可以如此之快。 Local Server 對於開發人員來說，它還有個超級更友善的功能。 LM Studio本身還提供一個 local server，可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能，例如： 上圖是我們開啟 LM Studio中 Local Server功能後的結果，你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現，我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理，請一律用繁體中...