[研討會] TechDays 2015 – Office Add-Ins

作者： -
image
第三天的Office Add-Ins介紹也順利的完成囉，我後續會把影片、投影片和相關的範例逐步整理到blog上，謝謝當天留到最後的學員們，以及每一位參與學員的支持。
先前已經有整理好的幾篇blog，連結如下:
http://studyhost.blogspot.tw/search/label/Office%20Add-Ins
可提供各位先參考。

updated: 投影片位於 這裡 ，現場影片位於 這裡

留言

張貼留言

這個網誌中的熱門文章

開啟 teams 中的『會議轉錄(謄寫)』與Copilot會議記錄、摘要功能

作者： -
圖片
在 Teams 中有一個非常好用的功能，可以透過 “謄寫” 把 Teams 的語音會議變成逐字稿，這部分當然是用到語音識別(語音轉文字)的AI技術。 開始謄寫與自動會議紀錄 當啟動一個會議之後，主席可以透過底下這個『開始謄寫』功能來開啟： 這個功能之所以重要，是因為他也是 Teams Copilot 要能夠順利使用的基礎。我們可以透過 Teams Copilot 進行會議的摘要、總結、整理、或是進行會議內容的詢問，而這後面用的則是LLM(大語言模型)的能力： 這功能對於需要參加很多會議的主管、或是在開會遲到的同仁，都是很方便的功能，可以透過詢問Copilot快速地進入會議狀況。 開啟 “謄寫” 功能 然而，這一切的基礎 “謄寫” 功能卻不是每一個機構都有預設開啟，如果你發現你的 “謄寫” 功能是灰色的(無法點選)，就意味著你的組織沒有開啟(或沒有為你開啟)這個功能。 那組織的管理員該如何開啟此功能呢? 很簡單，只需要到 Teams 系統管理中心，點選 『設定和原則』 --> 『會議』： 進入 『會議』 的設定之後，找到『會議錄製』–>『轉錄』 將其『開啟』即可: 如此一來，組織內的同仁就可以順利的使用 Tteams 會議中的語音轉文字(謄寫)功能，也可以使用 Copilot 來查詢會議的內容囉。 Enjoy it~
Read more »

使用LM Studio輕鬆在本地端以API呼叫大語言模型(LLM)

作者： -
圖片
最近上課常被問到，如何在地端環境搭建出大語言模型(LLM)，並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低，即便可能比較安全)，但被問多了，也就開始遍尋相關的解決方案，看看有沒有什麼最簡單的方式，可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ，它就是一款設計來運行大型語言模型（LLM）的平台，有個算是挺優雅的整合環境，讓一般 end-user 或開發人員，都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架，當然，最重要的是，它是免費的。 下載安裝 都很容易，我就不多說。 安裝好之後，你可以看到首頁中已經呈現了許多 Hugging Face上的模型： 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型，透過LM Studio下載到local之後，就可以直接載入(下圖一)： 隨手設定一下 system prompt(上圖二)，然後，就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話)，你會發現，原來有好的設備(GPU)，運行的速度可以如此之快。 Local Server 對於開發人員來說，它還有個超級更友善的功能。 LM Studio本身還提供一個 local server，可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能，例如： 上圖是我們開啟 LM Studio中 Local Server功能後的結果，你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現，我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理，請一律用繁體中...
Read more »

實際嘗試使用DeepSeek API

作者： -
圖片
突然造成關注的 DeepSeek DeepSeek 是一家於2023年由中國私募基金「幻方量化」創立的人工智慧公司，專注於AI技術。算是少數專注於基底模型訓練的廠商。幻方量化這家公司的負責人很年輕，1985年生，才40歲，同時也是DeepSeek的創辦人。但他為何從投資領域跑來訓練AI模型? 如果對這家企業有興趣，可以參考 這裡 。) 從沒沒無聞到震動市場，主要是因為其最新成果 DeepSeek-V3 與 R1模型，採用「混合專家架構」設計，僅在需要時啟動部分「腦細胞」，以便於降低運算資源消耗。據傳，由於訓練該模型僅使用 2048 部 NVIDIA H800 GPU，耗時約兩個月，以極低的成本(約為560萬美元)完成訓練，但 R1 模型在數學和推理基準測試中表現出色，號稱與OpenAI的o1模型效果相當。 據聞 Meta 和 OpenAI 對 DeepSeek 的快速崛起感到緊張，主要原因在於 DeepSeek 在各種壓力底下，居然可以更低的成本，基於過去開源的基礎完成更高階的成果展現。Meta的首席AI科學家Yann LeCun指出，DeepSeek的成功證明了開源模型(例如他們家的llama)正在超越專有模型(像是 GPT or Gemini)，強調了開放研究與開源的重要性。 總之這些進展引起了矽谷的關注，甚至有Meta員工匿名表示，內部出現了恐慌情緒，工程師們正在連夜嘗試複製DeepSeek的技術。 可預見的未來，模型(不管是雲端或地端)的可選擇性將會大增，在使用的成本上也有機會日漸低廉。因此，我們就來看看 DeepSeek API 的使用。 使用 DeepSeek API DeepSeek 也有提供雲端版本的API，要使用 DeepSeek 的 API，您需要先申請 API 金鑰(以信用卡或PayPal付費)，位於 這裡 : 申請後，您可以透過發送 HTTP POST 請求與 DeepSeek 的模型進行互動。以下是使用 cURL 的範例： curl https://api.deepseek.com/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer <DeepSeek API Key...
Read more »

使用 JSON Mode 讓 OpenAI API 乖乖回傳 JSON

作者： -
圖片
有在使用 ChatGPT(OpenAI API)開發的Developers 一定知道，對於開發人員來說，使用OpenAI API有一個重要的技巧，就是要求 API 回傳JSON格式的物件。 這樣的 Prompt 非常好用，因為 ChatGPT 最強的功能可能不是回答正確的答案，但對於理解用戶說的自然語言，絕對可以說是所向披靡、無人能及。 如果在程式碼中，能夠要求OpenAI API固定的回傳JSON格式，這樣我們就可以輕鬆的Parsing回傳結果。然而，過去的OpenAI API，就算你的 Prompt 寫的再好，在幾十次的呼叫當中，總是會有一兩次回傳給你的不是精準的JSON格式，而是帶有描述性的字串，這可能會讓接收的程式立刻崩潰，除非你在程式碼中額外做一些判斷，然後重新呼叫API，retry到接收到正確的JSON格式為止。但顯然，這樣的結構設計會讓程式顯得有點傻。 如果OpenAI API能乖乖的回傳 JSON 不就好了嗎? 恩~ 恩~ OpenAI DevDay 之後，這件事情實現了。 現在你可以在呼叫 Chat API 的時候，加上底下的參數: "response_format" : {"type": "json_object" } 這會讓回傳的結果一律變成 JSON 形式。 這指令必須搭配新的 Model 👉gpt-4-1106-preview 或 gpt-3.5-turbo-1106 JSON Mode可以確保你拿到的一定是一個可以解析(Parsing)的 JSON 字串，這使得你 parsing JSON 的時候，不會得到 null，開發人員終於可以不再碰到因為 ChatGPT 的回傳不確定性，所可能帶來的程式崩潰問題。 我自己覺得，OpenAI DevDay中新推出的JSON Mode這個小功能反而是對開發人員最大的幫助。
Read more »

使用 Dify 串接 LINE Bot

作者： -
圖片
一開始寫這篇文章的時候，我有點困擾。 到底這一篇我到底該命名 『使用 Dify 串接 LINE Bot』 ，還是 『使用 LINE Bot 串接 Dify』?? 但我想，反正你應該知道我的意思，本文就是討論如何把兩者串在一起。 如果不熟悉 Dify ，本篇文章的前面還有兩邊文章你可以簡單的介紹了一下，所有連結位置在底下: https://studyhost.blogspot.com/search?q=dify 總的來說(我20年前就這麼說話了，最近有人說AI很喜歡說『總的來說』，但顯然是AI學我的)，我們可以在 Dify 裡面設計一個類似底下這樣的 workflow，他可以是一個簡單的對談聊天機器人，也可以是串接到後端HR請假系統，可以協助企業進行請假的 AI 助理： 顯而易見，使用 Dify 的好處很多。而在這邊它對我們來說，意義上是一個所視即所得的 Chat Bot(AI助理)設計平台，你可以在 Dify 中先把對談流程設定好，並且進行測試。 設計初步完善之後，我們可以透過Dify API來進行串接，例如串接到 Teams Bot或是LINE Bot。API的部分我們之前在 這一篇 介紹過。 由於Dify內建處理了對談前後文與記憶的部分，並且可以直接串接OpenAI的API(或是其它LLM亦可，同時也便於抽換)，這讓我們開發 AI 助理輕省不少。 這也是我覺得 Dify 作為一個 LLMOps 開發平台(Platform)應該算是當之無愧的原因了。 串接到 LINE Bot 那在Dify上開發測試完之後，我們當然希望能夠整合在 LINE Bot(或是隨便其它什麼 Bot)上面。前面說過，由於 Dify 有提供一組API，我們可以透過該API輕易地進行串接，API的部分，我們在先前 這一篇 介紹過。因此，我們底下要更進一步，談談如何實際跟 LINE Bot 整合在一起。 其實架構上不複雜，我們只需要建立一個 LINE Bot 的 WebHook ，並且在其中呼叫 Dify API即可： 也就是上圖中，紅色虛線框起來的這一段。 這部分該如何進行呢? 倒也容易，我們看底下 WebHook 的部分： var responseMsg = "" ; //準備回覆訊息 if ( LineEvent != n...
Read more »