LINE Developer Day 2018 東京豐盛技術之旅(上)

作者： -

回到台北我沉澱了幾天，直到今天才終於有機會把LINE在本年度位於東京八方園舉辦的LINE Developer Day 2018盛會作一個筆記整理。

我若將整個活動稱之為『奢華豐盛的技術之旅』我想應該一點都不為過。為何寫了又槓掉了奢華二字? 這似乎有點不容易解釋。

因為整個活動的體驗，實在讓我難以用一句話一個形容詞就精準描述。雖說這畢竟是一個技術盛會，講奢華可能有點Over，但在豐盛中卻總讓人覺得有一抹低調的奢華感。別以為只是吃好住好的那種豐盛，身為技術宅對於這種身外之物並沒有太多欲求，那到底特別在何處? 且讓我娓娓道來…

由於身為LINE API Expert，今年LINE邀請我們參加了這三天兩夜的技術之旅，第一天晚上Evan Lin(LINE Technical Evangelist)被我們這群來自台北的API Experts一夥人強押作陪，在下班後被逼著一同前往體驗和牛吃到飽的快感。沒聽錯，和牛吃到飽，聚會還沒開始就已經體驗到第一種『豐盛』了。

怎麼會只有一張照片? 因為其他的都已經在來不及拍照前被餓狼般的API Experts們給吞食了，直到酒足飯飽，上面這盤其實已經有些吃不下了，才『淪落到』被拍照的地步。

但畢竟和牛吃到飽不是重點，只是奢華中的小小點綴，頂著些許微醺回到飯店看著夜景好好放鬆，準備迎接明天正式的活動才是王道：

飯店雖位於新宿鬧區內，然而從房內落地窗俯瞰著窗外東京的夜色，街道上的喧鬧仿佛已被置身度外，只剩下夜色中來來往往的JR列車的身影。

這樣的靜懿讓你很容易入睡。

第二天一早，就是重頭戲的開始了，看到入口處的這尊門牌，你可能會以為我們來到了什麼煮酒論英雄的深山曠野? 不然，其實會場『八芳園』距離地鐵站僅僅幾分鐘路程，雖藏身在市區之中，卻是一座擁有一萬坪面積的日本庭園，內部包含自然形成的丘陵、溪流和百年老樹構造出的靜謐氣氛:

過了上面這座石碑，LINE Developer Day 2018的主視覺立刻映入眼簾：

入園之後的小徑，真的會讓你以為來到了世外桃源，這像是個辦技術大會的地方嗎?
實在讓人驚豔：

為Developers在這種地方舉辦個年度技術盛宴，其實也是我一直很想做，卻始終無法實現的夢想，沒想到這次LINE在日本東京給實現了。把位於技術前線的科技宅們，聚集到這一個充滿日式古意的所在，這中間的對比，正如同這家融合了日韓文化和美式風格的企業一般，不時讓人有些難以捉摸…

但環境中的心曠神怡，也讓你對整個聚會充滿著期待，在會場的每一個小角落，不時會出現這個六道藍色d線條的燈籠，對映著『Line Developers』還挺有點意思。

我們來的早了，所以稍微小排了一下隊伍，當天東京戶外的溫度是13度，由於會場空曠處都有煤油燈，所以不會讓人感到太難受的寒意。我看除了台灣之外，大概只有日本人能夠比我們更愛排隊，且排的整整齊齊…

沒多久我們就進入到了會場，會場內的布置依舊是日式的溫暖路線，相較於台北TICC的中規中矩的風格，這邊更像一個溫暖的婚宴場館：

除了CTO將親自上台的keynote之外，整個活動共分有A, B, C, D四個HALL，以及CAFE區，如果你留意，會發現每一個場次的主講人可能來自不同國家，有日本、韓國、泰國…當然也有來自我們台灣的講師 Benny。

除了四個HALL的分場講者，也有CAFE區的Lightning Talks，會場中各處也有這樣的小桌子讓技術專家們可以隨處討論或分享…

除了室內豐富的聚會和分享，人都已經來到了好山好水的八芳園，怎能不體驗一下在小橋流水中寫code的脫俗滋味? 這時候戶外區的咖啡座就是最好的選擇，我得說，一邊寫code，一邊喝著熱咖啡，伴隨著鳥語及溪流聲，確實是一種享受。

你看兩位來自台灣的LAE大神多麼的認真…

(其實，這也是唯一能讓NB和手機充電的地方，所以…座位個個爆滿不在話下)

活動一開始，當然不可錯過LINE美女CTO的Keynote speech，你會發現，原來LINE今年幹了這麼多事情!? 由於不一定所有的成果都發表在台灣，所以你大概不知道在LINE上面除了可以購物、賣票之外，其實也能夠購買保險和旅遊：

別以為這些服務在台灣沒有發表似乎台灣不受重視? 錯了，整個keynote當中，在台灣實現的各種成果至少被提了五六次，印象所及，大概是凌駕所有國家之冠。例如，LINE與一卡通整合的LINE Pay，以及CTBC中國信託與LINE的合作…等。

當然，更少不了台北捷運的beacon典範，這還是會場LINE案例成果發表的展示看板中排名第一個的呢：

除了金融相關的應用，Keynote中，也提到了LINE在AI與區塊鏈上的一些發展。你知道LINE有一個名為Clova的語音智能助理嗎? 其中就大量地使用到了LINE自行開發的AI技術，包含Speech Recognition(語音辨識)與NLP(語意分析)的一些應用：

LINE也正積極的將Clova逐步擴充為可支援其他國家語言的智能助理，同時也在Chatbot Engine與OCR上有不少的著墨：

這些與AI相關的技術，除了被implement到LINE和Clova身上之外，也將會逐步開放給LINE Developers，讓開發人員能夠建構出各種在LINE與Clova周邊的各樣應用：

透過釋出雲端服務，讓開發人員能夠建立出所謂的dApp，來應用上述的AI服務，並且與LINE(即時通訊)和Clova(語音智能助理)整合:


最終為開發人員、合作夥伴、形成一個有價值的Ecosystem：

咦?   等，等等…

寫到這邊先暫停一下，LINE不是一個作IM(即時通訊)的公司嗎? 怎麼現在看起來愈來愈像一家軟體服務或雲端應用公司了?

過去，你可能以為LINE只有一個IM，但現在你發現了，LINE除了涉足了Fintech，也即將有自己的虛擬貨幣與交易所，同時間LINE也建構了雲端智能服務，以及可以做為終端用戶操作介面的語音助理Clova…這…

這些不都是過去軟體界大老(諸如Microsoft, AWS, Google…etc.)在幹的事情嗎?

然後別忘了，LINE早已有自己的OAuth身分驗證機制(Line Login)，以及正慢慢成形的各種AI服務…這個態勢是準備要幹嘛呢???

如果你跟我一樣疑惑，那別錯過這篇遊記的下半部。

接下來，我想要分享一下我們(LINE API Experts)與CTO和LINE RD的round table談了些什麼，以及剩下的旅程中所帶給我的其他驚喜…

留言

張貼留言

這個網誌中的熱門文章

使用LM Studio輕鬆在本地端以API呼叫大語言模型(LLM)

作者： -
圖片
最近上課常被問到，如何在地端環境搭建出大語言模型(LLM)，並且呼叫其API。 一開始我不太理解為何會有這樣的需求(因為在地端自行搭建運行LLM的成本不一定比較低，即便可能比較安全)，但被問多了，也就開始遍尋相關的解決方案，看看有沒有什麼最簡單的方式，可以讓開發人員在地端測試大語言模型? 後來我選擇 LM Studio ，它就是一款設計來運行大型語言模型（LLM）的平台，有個算是挺優雅的整合環境，讓一般 end-user 或開發人員，都可以輕易地在 local 端進行模型的部署和測試。 LM Studio 本身支援多種模型架構和框架，當然，最重要的是，它是免費的。 下載安裝 都很容易，我就不多說。 安裝好之後，你可以看到首頁中已經呈現了許多 Hugging Face上的模型： 這顯然是因為Hugging Face是大部分免費開源模型的集散地。 你可以搜尋自己喜歡的模型，透過LM Studio下載到local之後，就可以直接載入(下圖一)： 隨手設定一下 system prompt(上圖二)，然後，就可以直接對談了。(上圖三) LM Studio會使用你的GPU進行運算(如果有的話)，你會發現，原來有好的設備(GPU)，運行的速度可以如此之快。 Local Server 對於開發人員來說，它還有個超級更友善的功能。 LM Studio本身還提供一個 local server，可以幫你把模型包裹起來讓你直接透過API呼叫該模型的功能，例如： 上圖是我們開啟 LM Studio中 Local Server功能後的結果，你可以透過 localhost 的 1234 port 來呼叫這個被 LM Studio 運行起來的大語言模型。(有沒有發現，我們用的也是 chat/completions API) 透過Postman簡單提供一下 JSON Body: { "model": "LM Studio Community/Meta-Llama-3-8B-Instruct-GGUF", "messages": [ { "role": "system", "content": "你是AI助理，請一律用繁體中...
Read more »

VS Code的字體大小

作者： -
圖片
身為.net developer，這年頭是什麼code都得要會寫的年代。 而雖然我的NB還沒從Windows淪陷為Mac OS，但寫Node.js和Python免不了要用VS Code，這是一種愛的表現。 但歲月不饒人，盡管微臣非常熱於配合，但VS Code預設字體的大小在我還沒錢買大尺寸螢幕的狀況下，實在讓老臣難以適應。當下的第一個反應是什麼? 當然是 Ctrl+滑鼠滾輪往上推…哇靠，沒用。看…這設計…恩，千錯萬錯一定是我的錯。 只好從選單 file –> Preferences –> Settings: 在出來的視窗中，你可以看到 editor.fontsize: 沒錯，改它就行了。改不動? 喔，不好意思，我沒仔細看說明，要copy到右邊是吧，沒問題，copy->paste->modify->Save…搞定。 好簡單啊…連ctrl+(mouse scroll up)都用不到了呢… 咦?這是一篇抱怨文嗎? 沒有，誰說的? 免費的tool我們還有什麼好抱怨的呢…要感恩啦。 啊….對了，如果你還是堅持要使用 Ctrl+滑鼠滾輪，請找關鍵字… "editor.mouseWheelZoom"
Read more »

使用 Dify 建立企業請假機器人

作者： -
圖片
八卦與未來 上個月，前Google執行長Eric Schmidt在史丹福有場演講，媒體關注的是八卦消息(如果你也曾關注，網路上有很多鐵定可以找到)，但我注意到的則是他提到了自己認為接下來 AI(特別是大語言模型) 可能的發展方向，包含: Large Context Window AI Agent Text-to-Action 底下這邊有這一個段落的影片： https://www.youtube.com/watch?v=zl3k1ksFZdY 為何我會關注這部分? 因為上述的三個方向，也是身為開發人員的我，過去這一年，來與LLM打交道後的感想。昨天，我在 twMVC 的研討會分享中，展示了一個其實我過去早做過了N百次的範例，就是企業的請假機器人。(唯一不同的是，這次我幾乎沒有寫任何程式碼) 場景是，員工在家裡生病了，想要透過語音或是app進行請假，你可以看底下這個運行的範例 (git圖檔會循環播放，開始是 『我好像感冒了』)： 用自然語言對談的方式，即可完成請假。 我說過，類似這樣的範例我做過很多次，用 LINE Bot 搭配 C# 做過，用MS Bot Framework 做過，前陣子也用 Semantic Kernel 框架做過，更早期，還沒有AI的時代，我也在EIP和HR系統裡做過。 但我想說的是，這 就是 Text-to-Action 的呈現，也是一個典型的 AI Agent 的例子，它讓我們透過自然語言(可以是語音或文字)，直接命令機器人(Chat Bot、AI 助理、Agent、Assistant …不管你叫它什麼…)幫你完成一件事情(請假、售票、查詢資料、做財務報表、統計圖表、寫程式…etc.)。 這是一直以來人類對電腦最底層的需求與期待。 隨著 LLM 能夠處理和記憶的 Context 愈來愈被放大，AI Agent 所能夠處理的任務就更加的不受限制。 自然語言才是最符合人類直覺的操作 順帶一提，我昨天在研討會中講了一個故事。 有天，你覺得自己需要聘請一位助理，因此上網張貼徵人啟事，沒多久，你找到了一位號稱上知天文、下知地理的高材生，來幫助你更有效率的完成工作。 他什麼都好，唯一的一個小缺點是，你不能直接對這個助理下達指令，你必須用一種只有這個助理看得懂的語法，才能要求這個助理幫你完成特定的工作。這些語法還挺...
Read more »

使用 Dify API 快速建立一個包含前後文記憶的對談機器人

作者： -
圖片
Dify 這個產品我就暫時先不介紹了，它找到了一個挺好的切入點跨入AI Agent市場。讓不喜歡(或不擅長)寫太多 Code 的開發人員，也可以快速的建立一個具有前後文、記憶的對談機器人。 其實若單就設計 Chat Bot 來談，它本質上和 GPTs 有那麼一點點像，你只需要給一個 system prompt ，再加上一點點的資料上傳做為 RAG 的數據來源，就可以生出一隻有模有樣的對談機器人。 但 GPTs 做出來的 Chat Bot 被綁在 ChatGPT 的 UI 裡面，你不容易把它跟 LINE Bot (LINE 官方帳號) 或其它 UI (例如 MS Teams) 串在一起，而 Dify 呢? 則給你了一個 chat-messages API，讓你能很快的實現這個功能，把你在 Dify 平台上做好的 Chat Bot 轉變成可以正式運行的 LINE Bot 或 其它 Bot。 這也是今天我們要介紹的部分。 建立 Assistant 我們先用 Dify 以底下這個 system prompt 建立了一個請假助理： 發佈後，你可以在Dify 內建的 Web UI 上測試： 你會發現，這個 chat bot 已經有著基本的記憶，然後可以依照 system prompt 完成對談和任務。 不要問我在這邊建立出一個假單有什麼用，正常情況下是要直接讓 chat bot 寫入資料庫(例如 HR 系統，直接完成請假)，只是我們還沒談到這一段，這部分以後再展開來談。 chat-messages API 好，透過上面那樣建立一個對談機器人超容易，且內建就有了記憶和前後文的功能。讓開發人員快樂的不得了。跟使用無腦 GPTs 生成術差不多。然而，如果只能在 Web 上用，不能串接 MS Teams、LINE…等介面，做了也是白搭。 但，Dify 貼心的提供了 API，我們來試試看。先Gen個 API Key： 生成了 API key 之後，你只需要透過底下這樣的 rest api，即可進行呼叫： 你會發現，開發人員只要使用單一的這一個 https://api.dify.ai/v1/chat-messages API 即可進行對談。每次只需要透過 query 輸入用戶說的話，response 中的 answer 則是 LLM (Assist...
Read more »

使用 Dify 串接 LINE Bot

作者： -
圖片
一開始寫這篇文章的時候，我有點困擾。 到底這一篇我到底該命名 『使用 Dify 串接 LINE Bot』 ，還是 『使用 LINE Bot 串接 Dify』?? 但我想，反正你應該知道我的意思，本文就是討論如何把兩者串在一起。 如果不熟悉 Dify ，本篇文章的前面還有兩邊文章你可以簡單的介紹了一下，所有連結位置在底下: https://studyhost.blogspot.com/search?q=dify 總的來說(我20年前就這麼說話了，最近有人說AI很喜歡說『總的來說』，但顯然是AI學我的)，我們可以在 Dify 裡面設計一個類似底下這樣的 workflow，他可以是一個簡單的對談聊天機器人，也可以是串接到後端HR請假系統，可以協助企業進行請假的 AI 助理： 顯而易見，使用 Dify 的好處很多。而在這邊它對我們來說，意義上是一個所視即所得的 Chat Bot(AI助理)設計平台，你可以在 Dify 中先把對談流程設定好，並且進行測試。 設計初步完善之後，我們可以透過Dify API來進行串接，例如串接到 Teams Bot或是LINE Bot。API的部分我們之前在 這一篇 介紹過。 由於Dify內建處理了對談前後文與記憶的部分，並且可以直接串接OpenAI的API(或是其它LLM亦可，同時也便於抽換)，這讓我們開發 AI 助理輕省不少。 這也是我覺得 Dify 作為一個 LLMOps 開發平台(Platform)應該算是當之無愧的原因了。 串接到 LINE Bot 那在Dify上開發測試完之後，我們當然希望能夠整合在 LINE Bot(或是隨便其它什麼 Bot)上面。前面說過，由於 Dify 有提供一組API，我們可以透過該API輕易地進行串接，API的部分，我們在先前 這一篇 介紹過。因此，我們底下要更進一步，談談如何實際跟 LINE Bot 整合在一起。 其實架構上不複雜，我們只需要建立一個 LINE Bot 的 WebHook ，並且在其中呼叫 Dify API即可： 也就是上圖中，紅色虛線框起來的這一段。 這部分該如何進行呢? 倒也容易，我們看底下 WebHook 的部分： var responseMsg = "" ; //準備回覆訊息 if ( LineEvent != n...
Read more »