使用容器化技術運行 Dify

開源

一個軟體或產品,要讓人信任它最簡單的方法,就是『開源(open source)』。

有時,用戶心裡會想:『我在你們這個技術上投資,萬一哪天你們整個開發團隊解散了怎麼辦? 我的投資不就打水漂了嗎? 』的確,這顧慮不無道理,產品的開發團隊也知道。

怎麼辦呢? 答案很簡單,就是『👉開源』。

怎麼讓用戶相信產品開發團隊在雲端上host的平台很正直,不會拿客戶上傳的資訊幹些什麼壞事? 答案也很簡單,又是『👉開源』。

總之呢,開源是快速獲取用戶信任的好方法。除了原始程式碼開源,最好連運行的環境也一併容器化,也開源。放上docker hub上讓大家可以免費下載。很佛心,沒錯,但它要換來的就是,你的信任和使用。

Dify

好唷,Dify 這個 2023年才開始的專案就是這麼幹的,這讓你可以比較放心這個其實只有20多人的新創團隊(而且還不是歐美血統)所開發的大語言模型 AI Agent 運行平台/框架。

Dify.AI 有一個雲端版本的 portal (如下圖),功能面我先不在這篇文章說,這篇只講容器化,但讀者可以自行上網申請一個帳號體驗一下:
圖片

總的來說,Dify 對自己的定位是 LLMOps 平台,負責幫你代勞一堆有的沒的LLM相關整合大小事。(前面說了,這個你自己上網查或申請個帳號去體驗一下)

我們來看它如何在地端環境執行,首先,它整個專案在 GitHub上,可以透過底下指令下載:

git clone https://github.com/langgenius/dify.git

clone 下來之後,進到 \dify\docker 資料夾:
圖片

接著透過 docker-compose指令:

docker-compose up -d

來運行,接著稀哩哩嘩啦啦的執行一陣:
圖片

接著你可以開啟 http://localhost/install ,進入整個系統的設定畫面:
圖片

設置好帳密之後,以後就可以透過 http://localhost/apps 網址登入站台囉:
圖片

整個畫面跟前面說到的 Dify.ai 網站完全相同,等於是你可以把人家整個網站 host 一份在自己的地端伺服器上,確保你的投資(例如設計的 AI Agent) 不會變成孤兒。

而我們在雲端設計好的 AI Agent,也可以透過匯出 DSL,直接在地端匯入:
圖片

匯入後,即可把雲端設計好的流程或AI Agent,順利的遷移到地端環境(當然反過來也是):
圖片

身為一個 GitHub 上擁有 44.5k Star (截至2024/9/8) 的專案,Dify 本身就是一套LLM時代迅速竄紅的 AI Agent / flow / Chat Bot 設計平台 / 框架,說實在的到目前為止給人的印象挺好,產品算是相當不錯用,同時開源的策略讓它很快的被許多開發者所接受(雖然我有點懷疑它應該會被政府單位或公家機關給封殺),總之,關於Dify的身家調查,已經有人做了(ref: https://aict.nkust.edu.tw/digitrans/?p=6905) 讀者可以參考。

短時間內,你要找到比 Dify 親合力更強,操作介面更簡單,更貼近開發人員的AI Agent開發平台實屬不易,如同前面說的,OSS策略讓人更容易接受這個起步才一年就有聲有色的AI產品,如果對AI助理開發有興趣,還沒玩過Dify的朋友,可以自行體驗看看。

留言

這個網誌中的熱門文章

使用LM Studio輕鬆在本地端以API呼叫大語言模型(LLM)

VS Code的字體大小

使用 Dify 建立企業請假機器人

使用Qdrant向量資料庫實作語意相似度比對

使用C#開發LineBot(3) - 使用LineBotSDK發送Line訊息