README.md

AI Agents 在生產環境中的應用

簡介

本課程將涵蓋：

• 如何有效地計劃將你的 AI Agent 部署到生產環境。
• 部署 AI Agent 到生產環境時可能面臨的常見錯誤和問題。
• 如何在保持 AI Agent 性能的同時管理成本。

學習目標

完成本課程後，你將了解如何：

• 提升生產環境中的 AI Agent 系統性能、成本效益和有效性的技術。
• 評估你的 AI Agent 的方法以及具體操作方式。
• 控制 AI Agent 部署到生產環境時的成本。

部署可信任的 AI Agent 非常重要。請參考 "Building Trustworthy AI Agents" 課程以了解更多。

評估 AI Agents

在部署 AI Agents 前、中、後，建立一個完善的系統來評估你的 AI Agent 是至關重要的。這將確保你的系統與你和用戶的目標保持一致。

評估 AI Agent 時，不僅需要評估代理的輸出，還需要評估 AI Agent 所運行的整個系統。這包括但不限於：

• 初始模型請求。
• 代理識別用戶意圖的能力。
• 代理選擇正確工具執行任務的能力。
• 工具對代理請求的回應。
• 代理解讀工具回應的能力。
• 用戶對代理回應的反饋。

這樣可以讓你更模塊化地識別改進的空間，並更高效地監控模型、提示詞、工具以及其他組件的變更效果。

AI Agents 的常見問題與潛在解決方案

問題	潛在解決方案
AI Agent 無法穩定執行任務	- 精煉給 AI Agent 的提示詞，明確目標。 - 確定是否可以將任務分解為子任務，並由多個代理處理。
AI Agent 進入無限循環	- 確保設置清晰的終止條件，讓代理知道何時結束流程。 - 對於需要推理和計劃的複雜任務，使用專為推理任務設計的大型模型。
AI Agent 工具調用效果不佳	- 在代理系統外測試並驗證工具的輸出。 - 優化工具的參數設置、提示詞和命名。
多代理系統無法穩定運行	- 精煉給每個代理的提示詞，確保它們具體且彼此區分明確。 - 構建一個層級系統，使用 "路由" 或控制代理來決定哪個代理最適合處理任務。

成本管理

以下是一些管理 AI Agent 部署成本的策略：

• 緩存回應 - 識別常見的請求和任務，提前提供回應，避免它們經過你的代理系統。你甚至可以實現一個流程，使用更基礎的 AI 模型來判斷請求與緩存請求的相似度。

• 使用小型模型 - 小型語言模型 (SLMs) 在某些代理場景中表現良好，並能顯著降低成本。如前所述，建立一個評估系統來比較小型模型與大型模型的性能，是了解 SLM 是否適合你場景的最佳方法。

• 使用路由模型 - 一種相似的策略是使用多樣化的模型和規模。你可以使用 LLM/SLM 或無伺服器函數根據任務複雜度來路由請求，將其分配給最合適的模型。這樣既能降低成本，又能確保在適當的任務上保持性能。

恭喜

這是 "AI Agents for Beginners" 的最後一課。

我們計劃根據反饋和這個快速增長的行業變化繼續添加新課程，請在不久的將來再次訪問。

如果你想繼續學習並構建 AI Agents，歡迎加入 Azure AI Community Discord。

我們在那裡舉辦工作坊、社區圓桌會議和 "問我任何事" 的互動環節。

我們還有一個學習資源集合，其中包含更多幫助你開始在生產環境中構建 AI Agents 的材料。

免責聲明:
本文件是使用機器翻譯人工智能服務進行翻譯的。儘管我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文文件為權威來源。如涉及關鍵信息，建議尋求專業人工翻譯。我們對因使用本翻譯而引起的任何誤解或誤釋不承擔責任。