> For the complete documentation index, see [llms.txt](https://docs.maiagent.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.maiagent.ai/tech/quickstart/llm.md).

# 大型語言模型（LLM）

大型語言模型（LLM）怎麼選：依環境、資料敏感度、成本與能力選擇雲端或地端模型，MaiAgent 支援的模型家族，以及是否需要 Fine-tune。

## **選擇的關鍵點**

在選擇大型語言模型時，請考慮以下幾個關鍵因素：

1. **環境（Environment）**：使用環境是否能夠上網來決定使用雲端或地端模型。
2. **品質（Quality）**：模型生成回覆結果的能力與對於指令的服從性。
3. **速度（Speed）**：文字生成速度及對於延遲的要求，來確保模型的回應速度。
4. **價格（Pricing）**：各模型的 Credits 計價不同，請依使用需求與預算選擇，計價方式見 [Credits 計費制度](https://docs.maiagent.ai/others/credits)。
5. **其他**：是否支援多模態、是否支援 Function calling。

各模型的品質、速度與價格比較，可參考 [Artificial Analysis](https://artificialanalysis.ai/) 等持續更新的第三方評測。

***

## MaiAgent 上支援的大型語言模型

MaiAgent 上架的模型會隨供應商發布與退役持續更新，本頁只列供應商與模型家族，不列具體型號。組織實際可選用的模型，以管理後台的「[模型調用權限](https://docs.maiagent.ai/org/model-access)」頁為準：該頁列出 MaiAgent 為組織開通的模型，組織擁有者可在範圍內自行啟用或關閉。

### 閉源模型

| 模型供應商     | 模型家族           | 推論服務                         |
| --------- | -------------- | ---------------------------- |
| OpenAI    | GPT、o 系列       | OpenAI、Azure、AWS Bedrock     |
| Anthropic | Claude         | AWS Bedrock、Google Vertex AI |
| Google    | Gemini         | Google Vertex AI             |
| xAI       | Grok           | OpenAI 相容 API                |
| Alibaba   | Qwen（Max、Plus） | OpenAI 相容 API                |
| Amazon    | Nova           | AWS Bedrock                  |

### 開源模型

開放權重（open-weight）模型可以在 MaiAgent SaaS 上透過雲端推論服務使用，也可以在私有雲、地端以自建 GPU 部署，所需硬體請參考 [GPU](/tech/platform-development/gpu.md) 章節。

| 模型供應商       | 模型家族         | SaaS 上的推論服務       |
| ----------- | ------------ | ----------------- |
| OpenAI      | GPT-OSS      | OpenAI 相容 API     |
| Google      | Gemma        | OpenAI 相容 API     |
| Alibaba     | Qwen、Qwen-VL | OpenAI 相容 API     |
| DeepSeek    | DeepSeek     | AWS Bedrock、Azure |
| Mistral AI  | Mistral      | OpenAI 相容 API     |
| Moonshot AI | Kimi         | OpenAI 相容 API     |
| IBM         | Granite      | OpenAI 相容 API     |

地端自建時可部署的模型，以 MaiAgent 部署包的模型目錄為準，目前包含 GPT-OSS、Gemma、Qwen、Qwen-VL 等家族；部署規劃請洽 MaiAgent 窗口。

{% hint style="info" %}
各供應商類型支援的 LLM、Embedding、Reranker 範圍不同，詳見[模型 API 推論服務](/tech/platform-development/cloud-model-inference-api-service.md)。
{% endhint %}

## 模型一定要 Fine-tune 嗎？

隨著人工智慧技術的快速發展，語言模型已經擁有了強大的語言理解和生成能力，並在許多領域中廣泛應用。例如，預訓練的語言模型可以輕鬆應對日常對話、文章生成以及簡單的問答任務。

然而，當模型面對更具挑戰性的專業領域任務，如醫療、法律或技術支持等領域時，僅僅依賴預訓練模型可能無法提供最佳的表現。有些開發者會選擇進行 **Fine-tuning**，也就是針對特定領域進行額外的訓練，以提高模型的專業知識。

然而，Fine-tuning 並不是唯一的解決方案，還有其他兩種有效的方法可以達成這一目標：**Prompt Engineering** 和 **RAG (Retrieval-Augmented Generation)**。

### 1. Prompt Engineering：通過精確的提示優化模型表現

Prompt Engineering 為設計精確的提示語句來引導模型生成所需的結果。這種方法的核心是根據任務需求，設計詳細表達方式，幫助模型縮小回答範圍，理解上下文和所需的輸出形式。

假設有一個語言模型，目的是根據用戶的需求推薦合適的產品。在這個情況下，如果表達 「我想買一部高性能的手機」，可能會導致模型生成不夠精準的答案，因為「高性能」這個詞有很多不同的解釋，可能指的是處理速度、相機性能、電池壽命等。

為了提高推薦的精度，我們可以進行 **Prompt Engineering**，設計更加具體的問題或提供額外的上下文來引導模型更好地理解用戶的需求。例如，改為以下的提示語句：

> "我需要一部具備**長時間電池續航**和**高效處理器**的手機，並且價格在 **500 美元到 800 美元**之間，請推薦幾款符合條件的手機。"

### 2. RAG：結合外部知識提升生成能力

**RAG** 是通過將外部知識檢索和生成過程相結合，來提升模型的表現。

在傳統的生成任務中，模型僅依賴預訓練時學到的知識。而 RAG 則利用檢索系統，即時獲取外部資料，並將這些資料與生成模型結合，從而更準確地回答問題或生成文本。

舉個例子，在醫療領域，當模型被問及某種罕見疾病時，RAG 可以先從專業醫學資料庫中檢索相關資料，再根據這些資料生成更準確的回答。這種方法的好處是，即便模型本身未在訓練過程中見過某些資料，它仍然能夠通過檢索現有知識來做出高質量的回應，特別適用於需要即時知識更新的情境，並能大大擴展模型的知識範圍。

{% hint style="success" %}
有關 RAG 更詳細的介紹，將於下一章 [「RAG 知識庫檢索系統 說明」](/tech/quickstart/rag.md)。
{% endhint %}

總結，Fine-tuning、Prompt Engineering 和 RAG 各有其優勢和適用範圍，可根據應用場景和需求選擇最合適的策略，而不必僅依賴於單一的 Fine-tuning 方法。

**Prompt Engineering** 提供了一種成本低且靈活的解決方案，通過設計精確的提示語句來引導模型產生高質量的結果。

而 **RAG** 則提供了一種結合外部知識和生成能力的方法，能夠在需要動態獲取知識的情況下，提供更精確的答案。

**Fine-tuning** 可以顯著提升模型在特定領域的表現，但需要大量專業資料並消耗額外資源，可視為 **Prompt Engineering** 與 **RAG** 兩種方式都無法成功，才實行的最後手段

{% hint style="info" %}
**MaiAgent 平台不提供模型微調功能**：後台沒有訓練或微調模型的介面，平台也不會用您的資料訓練任何模型。上面提到的 Fine-tuning 是模型供應商或自建模型團隊在平台之外完成的事。已經微調好的模型可以這樣接進平台：雲端供應商託管的微調模型，以自帶金鑰串接（見 [AI Gateway：OpenAI 相容 API 串接](/tech/ai-gateway/ai-gateway-openai-compatible.md)）；自己訓練的開放權重模型，在私有雲或地端部署成 OpenAI 相容的模型服務後接入，見[地端模型服務接入](/tech/platform-development/onprem-model-services.md#external-openai-compatible)。要讓 Agent 掌握專業知識，請優先用[角色指令](/tech/advanced-genai-tech/system-prompt.md)與 [RAG 知識庫](/tech/quickstart/rag.md)。
{% endhint %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.maiagent.ai/tech/quickstart/llm.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.