大型語言模型（LLM）

選擇的關鍵點

在選擇大型語言模型時，請考慮以下幾個關鍵因素：

1. 環境（Environment）：使用環境是否能夠上網來決定使用雲端或地端模型。

2. 品質（Quality）：模型生成回覆結果的能力與對於指令的服從性。

3. 速度（Speed）：文字生成速度及對於延遲的要求，來確保模型的回應速度。

4. 價格（Pricing）：考慮模型的使用成本，根據使用需求選擇適合的模型。（MaiAgent 上無須考慮模型價格）

5. 其他：是否支援多模態、是否支援 Function calling。

大型語言模型分析 - Artificial Analysis

---

MaiAgent 上支援的大型語言模型

雲端模型（閉源）

模型名稱	描述	使用情境
o1-mini 2024-09-12	o1 系列大型語言模型透過強化學習進行訓練，以執行複雜的推理。o1 模型在回答之前會先思考，在回應使用者之前產生一個很長的內在思維鏈。速度最慢，品質佳。	非常難的問題、其他 LLM 都無能為力時
GPT-4o 2024-08-06	品質、速度平均最高。擅長於產生結構化（Structured）資料，如 JSON。	遵循指令與邏輯能力略遜 Claude 3.5 Sonnet，但速度比 Claude 3.5 Sonnet 快。是一個常用的選擇👍
GPT-4o mini 2024-07-18	速度快，品質中等。品質略低於 Gemini 2.0 Flash	簡單的任務、無法選擇 Gemini 2.0 Flash 時的替代品
Claude 3.5 Sonnet	遵守角色指令，對於邏輯推理能力強。低機率出現幻覺	大部分情況的首選👍。速度覺得太慢時，可切換至 Gemini 2.0 Flash
Gemini 2.0 Pro	與 Claude 3.5 Sonnet 相比。品質差不多，但速度較慢	Claude 3.5 Sonnet 的替代品
Gemini 2.0 Flash	速度最快，品質中等	簡單的任務首選👍
DeepSeek R1	回覆速度偏慢，但對中文有很強的理解力，回覆內容品質高。深層思考，並確實針對角色指令內容調整	在需要進行複雜的多輪中文對話的場景。處理複雜的角色指令👍

地端模型（開源）

以下為主流的開源模型比較表，開源模型所需要的硬體能夠參考 GPU 章節。

模型名稱	描述	使用情境
Meta-Llama 3.1-70B	品質中等，算力需求中等	客服、知識問答、進階的翻譯與摘要
Meta-Llama 3.1-8B	品質尚可，算力需求低	翻譯、摘要
Mistral Large 2	品質高，硬體需求高	客服、知識問答、進階的翻譯與摘要
Mistral 8x7B	品質低，速度最快。	翻譯、摘要