LLMOps打造穩定運行的大型語言模型系統

「使用 AI 來開發應用程式日益簡單，但在將 LLM 部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps，並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案，幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統，是一本不可或缺的讀物。」
—— Ammar Mohanna，EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師

「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊，以及想將 LLM 從原型推向生產環境的所有人。」
—— Nirmal Budhathoki，微軟資深資料科學家

大型語言模型的一大特點，是它們不再依循舊規則。在運行 GenAI 時，傳統的 MLOps 幾乎無助於事，模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作，你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。

本書將帶領你在真正的使用者面前，以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo，而是教你讓 LLM 系統在現實世界中穩定運作。

• 掌握運作 LLM 所需的新角色與流程
• 在傳統指標無法全面反映效能時，監視 LLM 的實際表現
• 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制
• 管理 agent、RAG 系統，與不斷演變的提示詞帶來的營運混亂
• 擴展基礎設施，並且控制運算成本