LLM 工程師開發手冊

＜內容簡介＞ ▋ 人工智慧正以驚人的速度演進， 而大型語言模型已成為這場革命的核心關鍵 ▋ 本書不只是介紹理論；它帶你走進真實工程場景，教你如何設計、訓練、優化與部署 LLM，並結合 MLOps 的專業流程，打造真正能落地的端到端解決方案。透過完整的 LLM Twin 實戰案例，你將學會建構具成本效益、可擴展、模組化的系統架構，跳脫 Notebook 和 Colab 實驗的限制，把模型真正推向生產環境。 在學習過程中，你將掌握資料流程設計、RAG、監督式微調、偏好對齊、即時資料處理、推論最佳化等關鍵技術，並能將 CI/CD、監控、版本管理 等 MLOps 元件靈活融入自己的專案。這不僅讓你理解 LLM 的運作，更讓你具備「打造專業級 AI 系統」的實戰能力。 讀完本書，你將能從 0 到 1 建立自己的 LLM、能處理真實世界的資料、能在生產環境長期穩定運作、能持續優化並快速迭代。 無論你是 AI 新手或已有多年經驗的工程師，本書都能帶來全新的理解、視野與技術深度，讓你真正跨入 LLM 工程師的境界。 ✦✦✦ ◤全球好評指標◢ ☆ Amazon 4.6 顆星好評，榮登人工智慧相關類別 #1 暢銷榜 ☆ 作者在 Github 儲存庫上提供的本書學習資源，累計已獲 4,400+ stars 關注 ◤技術領袖一致推薦!◢ ☆ 「本書讓更多人能夠進一步調整、微調、量化模型，並使其足夠高效以應用於真實世界。」 ─ Julien Chaumond｜Hugging Face 共同創辦人暨技術長 ☆ 「以具體範例與明確指導，說明如何最佳化推論流程與有效部署 LLM，使其成為研究人員與實務工程師皆能受益的重要參考書。」 ─ Antonio Gulli｜Google 技術長辦公室資深總監暨傑出工程師 ☆ 「在 AI 以前所未有的速度重塑各行各業的當下，《LLM 工程師開發手冊》是帶領讀者掌握大型語言模型複雜性的關鍵指南。」 ─ Hamza Tahir｜ZenML 共同創辦人暨技術長 ☆ 「提供一套精良的框架，協助讀者掌握 LLM 工程，並成功銜接機器學習研究、AI 工程與 LLMOps 之間的落差。」 ─ Gideon Mendels｜CometML 共同創辦人暨執行長 ☆ 「這本書全面涵蓋了從 LLM 設計、部署到優化的實務指南...。若你對 LLM 充滿熱情，這絕對是一本必讀之作。」 ─ Akshit Bhalla｜Tesla 資料科學家 ☆ 「這是目前少數兼具深度與實務性的 LLMOps 著作之一...。讀完之後，我迫不及待想用自己的工具實作一個 LLM Twin！」 ─ Maria Vechtomova｜Databricks MVP ★本書特色： ▋從架構、資料、訓練到部署， 打造能真正落地的 LLM 系統▋ ✦✦✦ ◤從零打造 LLM 系統的實戰流程◢ ● 每一章都有循序圖解、完整程式碼範例，不怕學不會 ● 提供完整LLM 端到端工作流程教學：資料流程 → 特徵流程 → 訓練流程 → 推論流程 → 部署流程 ● 全書程式皆由小編親自測試，並穿插實務心得，確保你真的學得到、做得出來 ◤你將掌握的關鍵能力◢ ✔ 從真實資料開始打造 LLM 的第一步！ 從爬蟲、清洗、分段到去重複，一步步完成真實世界 LLM 需要的資料前處理。 ✔ 用 FTI 架構建立你的 AI 系統思維！ 建立 Feature／Training／Inference 全流程思維，看懂 LLM 系統的真實樣貌。 ✔ RAG 深度解析：打造不會亂講話的 LLM！ 深入掌握 RAG 的設計、最佳化與進階技巧，提升模型可信度與資訊鮮度。 ✔ 把模型調到最好：微調 + 偏好對齊一次學會！ 從 SFT 到 LoRA/QLoRA，再到 DPO，讓模型真正「理解人類的思考行為」。 ✔ 推論加速全攻略，速度與成本 win-win！ KV cache、連續批次、推測式解碼、量化與平行化，全套最佳化方法一次收錄。 ✔ 無痛掌握最全面的 AI 工具鏈！ 涵蓋 Hugging Face、ZenML、CometML、Opik、MongoDB、Qdrant 等主流技術。 ✔ 真正生產級的 MLOps／LLMOps 能力剖析與實踐！ 從 CI/CD/CT、監控、版本控管到雲端部署，打造可擴展、可維護的 LLM 系統。 ★目錄： ▌第 1 章 掌握 LLM 分身的概念與架構 1.1 認識 LLM 分身 1.2 規劃 LLM 分身的最簡可行產品 1.3 依循特徵/訓練/推論架構建立 ML 系統 1.4 設計 LLM 分身的系統架構 1.5 FTI 設計與 LLM 分身架構的回顧與反思 1.6 總結 1.7 參考資料 ▌第 2 章 工具介紹與安裝 2.1 Python 開發環境的建置與專案安裝 2.2 MLOps 與 LLMOps 工具 2.3 儲存非結構化與向量資料的資料庫 2.4 準備使用 AWS 2.5 總結 2.6 參考資料 ▌第 3 章 資料工程 3.1 設計 LLM Twin 資料搜集流程 3.2 資料搜集流程實作：ETL 架構 3.3 資料搜集流程實作：網路爬蟲 3.4 資料搜集流程實作：NoSQL 文檔類別 3.5 將原始資料搜集至資料倉儲中 3.6 總結 3.7 參考資料 ▌第 4 章 RAG 特徵流程 4.1 認識 RAG 4.2 進階 RAG 概觀 4.3 探索 LLM Twin 的 RAG 特徵流程架構 4.4 實作 LLM Twin 的 RAG 特徵流程 4.5 總結 4.6 參考資料 ▌第 5 章 監督式微調 5.1 建立指令資料集 5.2 認識 SFT 技術 5.3 實作微調程式 5.4 總結 5.5 參考資料 ▌第 6 章 偏好對齊微調 6.1 認識偏好資料集 6.2 建立偏好資料集 6.3 偏好對齊 6.4 實作 DPO 6.5 總結 6.6 參考資料 ▌第 7 章 評估 LLM 7.1 何謂模型評估 7.2 何謂 RAG 評估 7.3 實作模型評估程式 7.4 總結 7.5 參考資料 ▌第 8 章 推論優化 8.1 模型優化策略 8.2 模型平行處理 8.3 模型量化 8.4 總結 8.5 參考資料 ▌第 9 章 RAG 推論流程 9.1 了解 LLM Twin 的 RAG 推論流程 9.2 探索 LLM Twin 的進階 RAG 技術 9.3 實作 LLM Twin 的 RAG 推論流程 9.4 總結 9.5 參考資料 ▌第 10 章 部署推論流程 10.1 選擇部署形式的標準 10.2 認識推論部署的形式 10.3 比較單體式與微服務架構 10.4 探索 LLM Twin 推論流程的部署策略 10.5 部署 LLM Twin 服務 10.6 以自動擴展應付使用高峰 10.7 總結 10.8 參考資料 ▌第 11 章 MLOps 與 LLMOps 11.1 認識 LLMOps：從 DevOps 與 MLOps 的基礎開始 11.2 將 LLM Twin 的 Pipeline 部署至雲端 11.3 在 LLM Twin 專案中加入 LLMOps 11.4 總結 11.5 參考資料 ▌附錄A MLOps 原則 A.1 自動化與系統化 A.2 版本管理 A.3 實驗追蹤 A.4 測試 A.5 監控 A.6 可重現性 ＜作者簡介＞ Paul Iusztin 資深機器學習與 MLOps 工程師，擁有七年以上開發生成式 AI、電腦視覺與 MLOps 解決方案的經驗。曾任職於 Metaphysic，為其核心工程團隊成員之一，負責將大型神經網路導入實際生產環境。其他工作經歷還包括 CoreAI、Everseen、Continental。他同時創立了教育平台 Decoding ML，透過文章與開源課程推廣實戰級機器學習系統知識。 Maxime Labonne 現任 Liquid AI 的後訓練部門主管（Head of Post-Training），擁有巴黎綜合理工學院（Institut Polytechnique de Paris）機器學習博士學位，亦為 Google Developer Expert in AI/ML。他長期活躍於開源社群，貢獻包括 LLM Course（GitHub）、LLM AutoEval、以及多個先進模型如 NeuralDaredevil。著有暢銷書《Hands-On Graph Neural Networks Using Python》。 譯者：黃駿 於國立臺灣大學腦與心智科學研究所碩士班畢業後，曾擔任過行銷、產品設計等工作。有 Java 與 Python 程式語言基礎，對於科學與科技議題抱有高度興趣，隨後投入翻譯工作，目前譯有《無限的力量》《深度強化式學習》《深度學習的 16 堂課》《核心開發者親授！PyTorch 深度學習攻略》《Excel 儀表板與圖表設計 + Power BI 資料處理》《AI 必須！從做中學貝氏統計》《簡約的體開發思維》《生成式 AI 入門 – 揭開 LLM 潘朵拉的秘密》等，同時經營自己的英文部落格：Neurozo Innovation Blog。