發表文章

目前顯示的是 1月, 2025的文章

在 Azure 上部署與使用 deepseek R1 model

圖片
現在,你可以在 Azure AI Foundry 上使用 deepseek R1 model 了,如果不想自己在local搭建,又不想用位於 deepseek 的伺服器,那微軟 Azure 給了你另一個選擇。 搭建好後,你將會有自己的 endpoint,可以直接透過 REST API 呼叫 ,並且擁有 Azure 上預設的內容過濾器(content filter),以確保輸出輸入的安全性。 使用的方式很簡單,只需要在 Azure Portal 先建立 Azure AI Foundry 服務: 建立時稍微留意一下,由於目前 deepseek model 只有在幾個資料中心提供,因此建議你選擇 Esat US 2 資料中心作為 資源所在位置: 建立完成之後,進入該服務,點選左方選單的 概觀 ,進入 Azure AI Foundry Portal: 進入之後,可以在 模型+端點 處部署基本模型: 在列出的模型清單中,找到 R1: 接著確認專案和部署名稱: 按下 部署 鈕即可完成部署。完成後,可在 遊樂場 中開啟: 接著就可以輸入文字測試: 也可以從檢視程式碼中找到API呼叫方式: 有了 endpoint 與 金鑰之後,就可以大方的透過程式碼來呼叫囉: 內容篩選 順帶一提,微軟的 AI Model 大多內建 content filter 來做內容篩選,因此,預設狀況下,舉凡仇恨、暴力、情色、自殘…等文字的輸入和輸出都會被過濾掉,以確保安全性,這部分如果你想要客製化調整,可以參考底下位置: AI應用即將落地 最近很紅的 deepseek ,網路消息很多。有人覺得這模型有些貓膩,有人覺得從 論文 看起來,確實有不少的創新。但不管如何,他的出現都宣示著一個更便宜、更有可能讓 AI 解決方案落地的機會即將來臨。 過去GPT 4o和o1這等高階的模型,一直讓LLM應用的成本居高不下,而deepseek v3和r1的出現,一舉把推斷成本降低到1/10以下,這讓AI應用的門檻大幅降低。而蒸餾過的小模型,也可以在較低的PC環境上直接運行,這又讓AI edge 化的可能性大幅提高,2025年看來將會熱鬧非常。

實際嘗試使用DeepSeek API

圖片
突然造成關注的 DeepSeek DeepSeek 是一家於2023年由中國私募基金「幻方量化」創立的人工智慧公司,專注於AI技術。算是少數專注於基底模型訓練的廠商。幻方量化這家公司的負責人很年輕,1985年生,才40歲,同時也是DeepSeek的創辦人。但他為何從投資領域跑來訓練AI模型? 如果對這家企業有興趣,可以參考 這裡 。) 從沒沒無聞到震動市場,主要是因為其最新成果 DeepSeek-V3 與 R1模型,採用「混合專家架構」設計,僅在需要時啟動部分「腦細胞」,以便於降低運算資源消耗。據傳,由於訓練該模型僅使用 2048 部 NVIDIA H800 GPU,耗時約兩個月,以極低的成本(約為560萬美元)完成訓練,但 R1 模型在數學和推理基準測試中表現出色,號稱與OpenAI的o1模型效果相當。 據聞 Meta 和 OpenAI 對 DeepSeek 的快速崛起感到緊張,主要原因在於 DeepSeek 在各種壓力底下,居然可以更低的成本,基於過去開源的基礎完成更高階的成果展現。Meta的首席AI科學家Yann LeCun指出,DeepSeek的成功證明了開源模型(例如他們家的llama)正在超越專有模型(像是 GPT or Gemini),強調了開放研究與開源的重要性。 總之這些進展引起了矽谷的關注,甚至有Meta員工匿名表示,內部出現了恐慌情緒,工程師們正在連夜嘗試複製DeepSeek的技術。 可預見的未來,模型(不管是雲端或地端)的可選擇性將會大增,在使用的成本上也有機會日漸低廉。因此,我們就來看看 DeepSeek API 的使用。 使用 DeepSeek API DeepSeek 也有提供雲端版本的API,要使用 DeepSeek 的 API,您需要先申請 API 金鑰(以信用卡或PayPal付費),位於 這裡 : 申請後,您可以透過發送 HTTP POST 請求與 DeepSeek 的模型進行互動。以下是使用 cURL 的範例: curl https://api.deepseek.com/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer <DeepSeek API Key...

LINE Messaging API 的 mention 功能功能介紹

圖片
緣由 在群組聊天中,LINE 的 @ 功能可以讓用戶標註特定成員,確保訊息能夠引起被對方注意到。這對於需要即時回應或要求特定成員參與討論時特別有用。過去,LINE對談機器人(也就是 LINE Bot, OA帳號)無法被 @ ,也不容易判斷出誰被用戶 @ 。現在,透過 LINE Messaging API 的提及 (mention) 功能,開發者可以實現自動回應並處理提及事件,提升互動體驗。 提及 (mention) 功能可以達成的效果 檢查被提及的用戶 :在 WebHook內,檢查訊息中是否有提及其他用戶,並可在回覆中顯示被提及的用戶 ID。 標註 bot 本身 :如果被提及的是 bot 本身,也可以識別出來。 提及所有用戶 :如果是透過 @ALL 提及所有用戶,也可以識別出來。 JSON架構說明 "message" : { "id" : "444573844083572737" , "type" : "text" , "quoteToken" : "q3Plxr4AgKd..." , "text" : "@example_bot Good Morning!!" , "mention" : { "mentionees" : [ { "index" : 0 , "length" : 12 , "userId" : "{user ID of the bot}" , "type" : "user" , "isSelf" : true } ] } 在新版的 WebHook JSON當中,添加了 mention 屬性,用於標識提及(@)事件。當用戶在訊息中提及其他用戶時, mention 屬性會包含...

我的人生,我選擇自己的速度

圖片
汽車引擎的低頻轟轟聲混雜著隧道內的迴音,像一首不斷重複的背景樂曲。我坐在方向盤後,目光緊盯著最前方那台白色小車,它穩穩地以每小時50公里的速度行駛著。 這是一條規定速限的隧道,隧道口的告示牌明白地寫著:「限速50公里。」但隨著我進入隧道,眼前的畫面逐漸變得不安分。 閃爍的壓力 在單線行駛的小隧道裡,白色小車的後方,是一台黑色的SUV,它開始不耐煩地閃起車燈。一次、兩次,閃燈的節奏越來越快,像是催促的心跳聲。SUV不僅用車燈說話,還緊貼著小車的車尾,像一隻焦躁的猛獸,想要把它從車道上擠出去。 SUV開始左右晃動,明顯試圖尋找超車的機會。我在SUV的正後方,彷彿能感受到它的焦躁,就像生活中那些迫不及待的人群,企圖用自己的節奏控制你。他們的存在給出了一種無形的壓力,催促你違背內心的步伐,強迫著自己去迎合他們的腳步。 在這有限的空間裡,黑暗與燈光交錯著,壓力彷彿被放大了無數倍。SUV的車燈依然在白色小車的後方閃爍著,彷彿在譴責他的固執。但我卻見那台白色小車穩定的前行,像是一座在雲霧中靜立的山峰,堅定而沉穩,不為四周的喧囂所動。 隧道的盡頭終於出現,一道刺眼的光劃破黑暗。SUV立刻從小車旁邊呼嘯而過,留下引擎的轟鳴聲。我看著它的背影逐漸消失,心中卻沒有一絲不快,反倒是有一種釋然的輕鬆。 自己的人生 突然覺得,這場隧道裡的行車經歷,像極了人生。我們每個人都有適合自己的速度與方向,但總會有那些試圖影響你、壓迫你的人。可能是工作上的同事或競爭對手、家庭中的期望、朋友間的比較。他們用「閃燈」催促你、用「逼車」推擠你,試圖讓你放棄自己的步伐,用他們的遊戲規則與節奏來競賽。然而,真正的成功不會來自於因著外在壓力的逼迫而忽快忽慢,真正的挑戰在於能否在這些壓力中堅守自我,用自己可以持續的速度不懈地往前走。 堅持自己的速度並不容易,但正是因為這樣的堅持,才能讓你走得更遠、更穩。人生有時好像在這條隧道裡行車,必須堅定地看著自己的路,才不會迷失在旁人給的影響裡。 我在想,當下次我也遇到那些閃燈與逼車時,得試著提醒自己,深吸一口氣,穩住方向盤,對自己說:「這是我的人生,我的速度,我自己選擇。」

使用 Copilot Studio 開發 teams bot

圖片
歷史與背景 Copilot Studio 是由 Microsoft 開發的 AI Agent 設計工具,讓使用者無需撰寫程式碼,就能夠透過自然語言或圖形化介面來建立自己的 AI Agent 助理(代理程式)。 透過 Copilot Studio,可以在單一操作環境中設計、測試、發佈對談機器人(AI Agent)、無論是 MS Teams 、FB Messaging、甚至是 LINE 都可以是發佈和執行該 AI Agent 的對象。 也就是說,你只需要設計一次,就可以在多種平台上同步使用。 由於 Copilot Studio內建就可以直接連結 MS Teams ,透過這套工作來建立對談機器人,可能是現在企業要建立 Teams bot 最方便的選擇。 底下我們會整個走一次如何使用 Copilot Studio 來建立一個 Teams bot。 先登入 由於設計UI目前是獨立的portal,因此您必須打開 Copilot Studio 網站: https://www.microsoft.com/en-us/microsoft-copilot/microsoft-copilot-studio 使用 Microsoft 帳戶登入(必須用組織帳號,如果是第一次登入,建議可以選擇 try free)。 登入後,您將看到一個儀表板,顯示您所有的 bot 專案。 建立一個代理程式 在左方選單選擇 代理程式 --> +新增代理程式 : 在出現的畫面上,填寫相關資料 完成後,就會進入設計畫面。接著點選上圖選單的主題(topic),你會看到列出很多內建的主題(topic)。 什麼是主題(topic) 主題(topic)是 AI Agent 用來理解用戶輸入以及進行適當回應(action/response)的基本單位。每個主題包含一個或多個觸發關鍵字,以及一連串的相應動作。你可以點選『新增主題』,或是編輯現有主題: 建立一個新的主題 在專案頁面,點擊 新增主題 –> 從空白內容開始 。 輸入主題名稱,例如 “BMI計算”。 接著,在主題中,編輯觸發關鍵字,這些關鍵字,會被視為觸發這個流程的關鍵意圖(intent),但由於它目前對中文的支援很有限,你就暫時將其視為關鍵字即可。也就是說,當用戶說了這些關鍵字,就...