跟 NVIDIA 學 LLM 基礎！（《跟 NVIDIA 學深度學習》修訂版）

＜內容簡介＞

▍GPT、Transformer、attention / self-attention 機制、seq2seq 架構...，大型語言模型 (LLM) 背後的建模技術「硬派」揭密！

▍AI 界扛霸子 NVIDIA 的指定教材！

近年來，在 NVIDIA (輝達) GPU、CUDA 技術的推波助瀾下，大型語言模型 (LLM) 的發展有著爆炸性的成長，例如最為人知的 ChatGPT 正是運用深度學習 (Deep Learning) 技術打造而成的熱門 LLM 應用。

□【★徹底看懂 LLM 核心建模技術 - GPT、Transformer 的模型架構】

自從 ChatGPT 爆紅之後，LLM 建模技術一直是熱門的研究話題，ChatGPT 的背後核心是 GPT 模型，而 GPT 裡面最重要的技術就是最後那個「T」- 也就是大名鼎鼎、使用了 attention (注意力) 機制的 Transformer 模型，這當中所用的建模技術可說是一環扣一環，也容易讓初學者學起來暈得不得了，只要一個關鍵地方沒搞懂，後面就全花了...

為此，本書經過精心設計，是帶你看懂 GPT、Transformer、attention...這些 LLM 關鍵技術的最佳救星！本書設計了「環環相扣」的 NLP 章節內容，循序漸進介紹 LLM 的基礎建模技術：

🔹看懂循環神經網路 (RNN、LSTM) 的缺點就知道為什麼需要 attention 機制以及 seq2seq 架構
🔹看懂 attention 機制就能看懂 Transformer 的 self-attention 神經層
🔹看懂 seq2seq 架構就能看懂 Transformer 的 encoder-decoder 架構
🔹看懂 Transformer 就能看懂 GPT

你可以深刻感受到次一章的模型架構幾乎都是為了解決前一章模型的不足之處而誕生的，經此一輪學習下來，保證讓你對 GPT、Transformer、attention / self-attention 等技術清清楚楚！這絕對是其他書看不到的精彩內容！

【★學 LLM 基礎，跟 AI 重要推手 - NVIDIA 學最到位！】

NVIDIA 除了在硬體上為 AI 帶來助益外，為了幫助眾多初學者快速上手 LLM 用到的深度學習基礎，任職於 NVIDIA 的本書作者 Magnus Ekman 凝聚了他多年來在 NVIDIA 所積累的 AI 知識撰寫了本書。本書同時也是 NVIDIA 的教育和培訓部門 -【深度學習機構 (Deep Learning Institute, DLI)】 指定的培訓教材 (https://www.nvidia.com/zh-tw/training/books/)。

要學 LLM 基礎，跟 AI 重要推手 NVIDIA 學就對了！書中眾多紮實的內容保證讓你受益滿滿！


★本書特色：

□【看懂 LLM 背後核心技術 - GPT、Transformer 的模型架構】
GPT、Transformer、attention 機制、self-attention 機制、encoder-decoder、seq2seq、query-key-value 機制、Multi-head、位置編碼 (positional encoding)、預訓練 (pre-train)、微調 (fine-tune)...各種建模技術輕鬆搞懂！

□【生成式 AI 語言模型 100% 從零開始打造！】
•用 Colab + tf.Keras 實作【多國語言翻譯模型】、【Auto-Complete 文字自動完成模型】
•從處理原始文字訓練資料 → 切割資料集 → 建構模型 → 模型調校、優化，從頭到尾示範一遍，帶你紮穩 LLM 建模基礎！

□【深度學習基礎知識學好學滿】
•紮穩根基！不被損失函數 / 梯度下降 / 反向傳播 / 正規化 / 常規化…一拖拉庫技術名詞搞得暈頭轉向！
•深度神經網路基礎 / CNN / RNN / LSTM...基礎概念詳解
•多模態學習 (multimodal learning)、多任務學習 (multitask learning)、自動化模型架構搜尋...熱門主題介紹。

□【詳細解說, 流暢翻譯】
本書由【施威銘研究室】監修，為前版《跟 NVIDIA 學深度學習》全新修訂本，題材與架構和前版大致相同，新修訂本特別針對前版書籍內容進行修訂、大量補充，幫助讀者更容易理解內容。


★目錄：

Ch01 從感知器看神經網路的底層知識
1-1 最早的人工神經元 - Rosenblatt 感知器
1-2 增加感知器模型的能力
1-3 用線性代數實現神經網路模型

Ch02 梯度下降法與反向傳播
2-1 導數的基礎概念
2-2 以梯度下降法 (gradient descent) 對模型訓練問題求解
2-3 反向傳播 (back propagation)

Ch03 多層神經網路的建立與調校
3-1 動手實作：建立辨識手寫數字的多層神經網路
3-2 避免神經網路訓練成效不彰
3-3 實驗：調整神經網路與學習參數

Ch04 用卷積神經網路 (CNN) 進行圖片辨識
4-1 卷積神經網路 (CNN)
4-2 實作：以卷積神經網路做圖片分類
4-3 更深層的 CNN 與預訓練模型

Ch05 用循環神經網路 (RNN、LSTM...) 處理序列資料
5-1 RNN 的基本概念
5-2 RNN 範例：預測書店銷售額
5-3 LSTM (長短期記憶神經網路)
5-4 LSTM 範例：文字的 Auto-Complete 機制

Ch06 自然語言處理的重要前置工作：建立詞向量空間
6-1 詞向量、詞向量空間的基本知識
6-2 做法(一)：在神經網路建模過程中「順便」生成詞向量空間
6-3 做法(二)：以 word2vec、GloVe 專用演算法生成詞向量空間

Ch07 用機器翻譯模型熟悉 seq2seq 架構
7-1 機器翻譯模型的基本知識
　•seq2seq 機器翻譯的運作概念
　•在訓練時導入 Teacher Forcing 機制
　•以編碼器-解碼器架構 (encoder-decoder architecture) 來建構 seq2seq 模型
7-2 機器翻譯的範例實作


Ch08 認識 attention 與 self-attention 機制
8-1 熟悉 attention 機制
　•從 q-k-v 的角度看關聯性分數向量的計算
8-2 認識 self-attention 機制
　•self-attention 的基本概念
　•self-attention 機制的算法
　•multi-head (多頭) 的 self-attention 機制

Ch09 Transformer、GPT 及其他衍生模型架構
9-1 Transformer 架構
9-1-1 編碼器端的架構
9-1-2 解碼器端的架構
9-1-3 Transformer 內的其他設計
9-1-4 小編補充：觀摩 keras 官網上的 Transformer 範例
9-2 Transformer 架構的衍生模型：GPT、BERT
9-2-1 認識 GPT 模型
9-2-2 認識 BERT 模型
9-2-3 其他從 Transformer 衍生出的模型

附錄 A 延伸學習 (一)：多模態、多任務...等模型建構相關主題
附錄 B 延伸學習 (二)：自動化模型架構搜尋
附錄 C 延伸學習 (三)：後續學習方向建議
附錄 D 使用 Google 的 Colab 雲端開發環境


＜作者簡介＞

Magnus Ekman
現為 NVIDIA 架構總監，擁有資訊工程博士學位與多項專利。他於 1990 年代後期首次接觸人工神經網路、親身體會進化計算的威力後，開始鑽研計算機架構，並與妻兒遷往矽谷居住。他曾在昇陽電腦和 Samsung Research America 從事處理器設計和研發。他目前在 NVIDIA 領導一個工程團隊，負責開發自駕車、人工智慧 (AI) 資料中心專用的高效能、低功率 CPU。