自己開發ChatGPT：LLM從頭開始動手實作

＜內容簡介＞ ☆大型語言模型的白話文介紹 ☆大型語言模型技術有什麼？ ☆預訓練資料的建立(語料庫) ☆大型語言模型從頭來 – 預訓練 ☆挖掘大型語言模型潛能：有監督微調 ☆大型語言模型強化學習對齊 ☆大型語言模型的評測標準 ☆大型語言模型的重要應用 ☆動手做大型語言模型 ☆自己訓練一個7B的大型語言模型 本書涵蓋大型語言模型的全貌，從基礎概念到實際應用。第一章介紹大型語言模型的基本概念。第二章深入解析其基礎技術，包括自然語言資料表示、Transformer架構以及BERT和GPT等預訓練模型，並以InstructGPT和LLaMA系列為例展示實用成果。第三章探討預訓練資料的類別、來源和處理方式。第四章詳細介紹大型語言模型的預訓練過程，包括不同架構和訓練策略。第五章解釋有監督微調的定義、用途和應用場景，以及微調資料建構和技巧。第六章介紹強化學習的基礎知識及在大型語言模型中的應用，特別是基於人類回饋的強化學習（RLHF），並展望其未來發展。第七章介紹大型語言模型的評測方法，包括微調後的對話能力和安全性評測，並探討通用人工智慧的評價。第八章展示提示詞技術在引導大型語言模型方面的應用，介紹搜索增強生成技術和推理協作技術，使模型能逐步分解並解決問題。第九章探討從訓練到任務完成的專案最佳化技術和實作案例，以提高模型的效率和可擴充性。第十章提供微調大型語言模型的關鍵步驟和程式範例，便於實際應用。 ＜作者簡介＞ 楊青 度小滿技術委員會執行主席、數據智能應用部總經理，碩士畢業於清華大學計算機系，曾就職於百度、阿里巴巴，從事自然語言處理、搜索、推薦、大數據架構等相關方向的研發工作。 2018年初加入度小滿，組建數據智能部，從0到1建設度小滿的智能引擎核心算法，深耕計算機視覺、自然語言處理、圖模型、機器學習、因果推斷等技術領域，多篇文章被EMNLP、ACL、CIKM等國際頂會收錄，「智能化徵信解讀中台」工程榮獲吳文俊人工智能科技進步獎。相關技術廣泛應用於度小滿營銷、經營、風控、反欺詐全流程業務場景，為上千萬客戶提供穩定、安全的金融服務。 目前，專注於AIGC相關研究及產品落地工作，基於度小滿模型即服務（MaaS）的模式積極探索文生圖、數字人與生成式大模型的應用轉化。已於2023年年初帶領團隊發布中國首個千億中文大模型「軒轅」，2023年9月，「軒轅-70B」大模型在C-Eval和CMMLU兩大權威榜單上位列所有開源模型榜首。