概覽

MaiAgent 平台除提供 SaaS 服務外，亦提供平台自建方案（私有雲、地端），MaiAgent 平台本身僅需要一般運算資源，無需 GPU 服務。MaiAgent 使用的模型服務（LLM, Embedding Model, Reranker Model）需要算力，可使用雲端 API 推論服務亦或是地端自建 GPU。

亦可採取混合雲的架構，MaiAgent 在地（私有雲、地端），模型服務（LLM, Embedding Model, Reranker Model）在雲端，MaiAgent 支援所有雲端服務供應商（CSP）提供的 LLM, Embedding model, Reranker model。未來若因資料安全與地端成本下降想要使用地端算力亦可立即切換。

MaiAgent 平台總覽

MaiAgent 是一個完整的生成式 AI 平台，提供從系統後端到使用者前端的全方位服務。平台採用可擴展的微服務架構，並支援主流雲端環境（AWS, GCP, Azure, Oracle）以及地端自建環境（Docker、K8s），能根據企業需求靈活部署。

平台核心以 Docker 為基礎，結合多元的服務模組，涵蓋 API、任務排程、資料儲存、快取管理，以及前後台應用程式。其整體設計確保了 高可用性、彈性擴展性與跨雲整合能力，同時兼顧安全性與可維運性。

服務項目	用途
MaiAgent Server	MaiAgent 核心、API、系統管理後台
MaiAgent Worker Server	MaiAgent 處理排隊、非同步服務的 Worker
MaiAgent Admin 前端	MaiAgent 管理平台
MaiAgent Web Chat 前端	MaiAgent 網頁對話前台
關聯式資料庫(RDB) - PostgreSQL	儲存 MaiAgent 各項資料
向量資料庫(Vector DB) - Elasticsearch	儲存 RAG, 記憶功能所需的向量
靜態儲存體(Storage)	儲存靜態文件、靜態網頁
記憶體快取(Memory Cache) - Redis	API 快取、排隊排程服務的佇列

模型服務

MaiAgent 平台在設計上同時兼容「雲端 API 推論服務」與「自建 GPU 環境」。

• 在 雲端 API 推論服務 下，MaiAgent 能直接串接各類 LLM、Embedding、Reranker API，快速擴容並支援動態流量需求，方便實驗與快速上線。

• 在 自建 GPU 模式 下，MaiAgent 可以與部署於本地或私有數據中心的模型服物串接，充分利用 GPU 資源並做最佳化推論，同時確保數據隱私與合規。

使用者可以依照需求，在彈性與成本之間自由切換，甚至混合使用兩種方式，讓 MaiAgent 成為統一的推論與服務管理層。

	雲端 API 推論服務	自建 GPU
MaiAgent 平台兼容	AWS Bedrock Google Vertex AI Azure AI Oracle OCI	HPE（慧與科技） Advantech（研華科技） Cisco（思科）
模型能力	閉源模型：高 開源模型：同自建 GPU	根據開源模型釋出而定
速度	較快 Claude 4 Sonnet: 80 token/s Gemini 2.5 Pro: 156 token/s	中等 Llama3.3 70B：25.01 token/s (H100 為例)
投入成本	Token API 費用 (pay-as-you-go)	機器費用 機房費用 機器與模型維運人力費用 機器折舊
Concurrent 使用者	根據雲端服務供應商廠商支援	根據 GPU 數量 （目前一片 H100 GPU 約 25 人）
資料安全性	使用承諾不將資料拿去做訓練的 雲端服務供應商（AWS, GCP, Azure, Oracle）	高機密性、最安全
個資問題	使用 DLP Server 或服務去除個資	無

平台部署環境

為滿足不同客戶在開發、測試與上線過程中的需求，我們的軟體平台提供多個分層環境。這些環境的設置，確保了從開發階段到正式上線的每一個流程，都能被妥善驗證與控管。

環境架構

我們的平台建置遵循業界最佳實踐，並根據客戶需求彈性提供以下環境：

環境名稱	備註	主要用途	特點
PROD	行內	生產環境	正式對外服務，使用真實數據，要求高度穩定性與安全性。
UAT	行內	使用者驗收測試	供客戶與業務單位驗收，確認系統功能符合需求，環境與生產環境相近。
SIT	行內，因為可能需要串接內部系統	系統整合測試	驗證不同模組與服務之間的整合與相容性，使用接近真實的測試資料。
DEV	加值功能行外開發加快速度	開發測試環境	供開發人員進行程式開發與單元測試，使用模擬資料，更新頻繁，容忍錯誤。

環境組合

不同客戶可依專案需求選擇合適的環境組合，例如：

• 僅 PROD：適合小型專案或單純上線需求，直接部署於生產環境。

• PROD + UAT：適合需要驗收測試的專案，確保功能符合需求後再上線。

• 完整環境組合（DEV + SIT + UAT + PROD）：適合大型或複雜專案，需經過完整的開發、整合測試與驗收流程。

我們會根據客戶需求彈性配置，確保在成本與品質之間取得最佳平衡。