第1章 編程和數學基礎

• 1.1 Python快速入門

  • 1.1.1 Python安裝

    • Python解釋器的安裝
    • jupyter notebook編程環境
    • Anaconda安裝工具

  • 1.1.2 對象、print()函數、類型轉換、註釋、變量、input()函數

    • 1. 對象

    • 2. 打印函數print()

    • 3. 類型轉換

    • 4. 註釋

    • 5. 變量

    • 6. input()函數

      • 1.1.3 運算

    • [下標運算符[]](#下標運算符)

    • 字符串的格式化

  • 1.1.4 控制語句

    • 1. if 語句
    • 2. while語句
    • 3. for語句

  • 1.1.5 Python常用容器類型

    • 1. list（列表）
    • 索引
    • 切片
    • for 遍歷所有元素
    • 2. tuple（元組）
    • 3. set（集合）
    • 4. dict（字典）

  • 1.1.6 函數

math數學包 - 全局變量和局部變量 - Anonymous/Lambda Function（匿名/lambda函數） - 嵌套函數、閉包 - yield和生成器

• 1.1.7 類和對象

• 1.1.8 Matplotlib入門

  • subplot()
  • Axes objects
  • mplot3d
  • 顯示圖像

• 1.2 張量庫numpy

  • 1.2.1 什麼是張量？

    • 1 向量
    • 向量的範數
    • 2 矩陣
    • 3 三維張量

  • 1.2.2 創建ndarray對象

    • 1. array()
    • 2. 多維數組類型ndarray
    • 3. asarray()
    • 4. ndarray的tolist()方法
    • 5. astype()和reshape()
    • 6. arange()和linspace()
    • 7. full()、empty()、zeros()、ones()、eye()
    • 8. 創建隨機值張量的常用函數

9. 添加、重複與鋪設、合併與分裂、邊緣填充、添加軸與交換軸 - 重複repeat() - 鋪設tile() - 合併concatenate() - 疊加stack() - column_stack()、hstack()、vstack() - 分裂split() - 邊緣填充 - 添加軸 - 交換軸

• 1.2.3 ndarry數組的索引和切片

• 1.2.4 張量的計算

  • 1. 逐元素計算
  • Hadamard乘積
  • 2. 累積計算
  • 3. 點積
  • 4 廣播Broadcasting

• 1.3 微積分

  • 1.3.1 函數

  • 1.3.2 四則和復合運算

    • 四則運算
    • 複合

  • 1.3.3 極限、導數

    • 1. 數列的極限
    • 2. 函數的極限與連續性
    • 3. 函數的導數

  • 1.3.4 導數的四則運算和鍊式求導法則

  • 1.3.5 計算圖、正向計算、反向傳播求導

1.3.6 多變量函數的偏導數與梯度

• 1.3.7 向量值函數的導數與Jacobian矩陣

• 1.3.8 積分

• 1.4 概率基礎

  • 1.4.1 概率

  • 1.4.2 條件概率、聯合概率、全概率公式、貝葉斯公式

  • 1.4.3 隨機變量

  • 1.4.4 離散型隨機變量的概率分佈列

  • 1.4.5 連續性隨機變量的概率密度

  • 1.4.6 隨機變量的分佈函數

  • 1.4.7 期望、方差、協方差、協變矩陣

    • 1. 均值和期望
    • 2. 方差、標準差
    • 3. 協方差、協變矩陣

第2章 梯度下降法

• 2.1 函數極值的必要條件

• 2.2 梯度下降法(gradient descent)

• 2.3 梯度下降法的參數優化策略

  • 2.3.1 Momentum動量法
  • 2.3.2 Adagrad法
  • 2.3.3 Adadelta法
  • 2.3.4 RMSprop法
  • 2.3.5 Adam法

• 2.4 梯度驗證

  • 2.4.1 比較數值梯度和分析梯度

2.4.2 通用的數值梯度

• 2.5 分離梯度下降算法與參數優化策略
• 2.5.1 參數優化器
• 2.5.2 接受參數優化器的梯度下降法

第3章 線性回歸、邏輯回歸和softmax回歸

• 3.1 線性回歸

  • 3.1.1 餐車利潤問題

• 3.1.2 機器學習與人工智能

  • 1. 機器學習
  • 2. 機器學習與人工智能的關係
  • 3. 機器學習的分類

• 3.1.3 什麼是線性回歸？

  • 3.1.4 正規方程求解線性回歸問題

• 3.1.5 梯度下降法求解線性回歸問題

• 3.1.6 調試學習率

• 3.1.7 梯度驗證

• 3.1.8 預測

• 3.1.9 多特徵的線性回歸

  • 1. 多特徵線性回歸
  • 2. 擬合平面
  • 3. 溫度與壓強問題

• 3.1.10 數據的規範化

• 3.2 模型的評估

  • 3.2.1 欠擬合和過擬合
  • 3.2.2 驗證集、測試集
  • 3.2.3 學習曲線
  • 3.2.4 預測大壩出水量

3.2.5 偏差和方差（Bias-Variance）

• 3.3 正則化（Regularization） - 增加正則項的損失函數變為

• 3.5 邏輯回歸

  • 3.5.1 邏輯回歸

  • 3.5.2 邏輯回歸的numpy實現

    • 1. 生成數據
    • 2. 梯度下降法的代碼實現
    • 3. 計算損失函數值
    • 4. 決策曲線
    • 5. 預測的準確性
    • 6. Scikit-Learn庫的邏輯回歸

  • 3.5.3 實戰：鳶尾花分類的numpy實現

• 3.6 softmax回歸

  • 3.6.1 spiral數據集

  • 3.6.2 softmax函數

  • 3.6.3 softmax回歸

    • 多樣本形式

  • 3.6.4 多分類交叉熵損失

  • 3.6.5 通過加權和計算交叉熵損失

  • 3.6.6 softmax回歸的梯度計算

    • 1. 交叉熵損失關於加權和的梯度
    • 2. 交叉熵損失關於權值參數的梯度

  • 3.6.7 softmax回歸的梯度下降法的實現

2.6.8 spiral數據集的softmax回歸

• 3.7 批梯度下降法和隨機梯度下降法

  • 3.7.1 MNIST 手寫數字集

  • 3.7.2 用部分訓練樣本訓練邏輯回歸

  • 3.7.3 批梯度下降法及實現

    • Fasion MNIST訓練集的softmax回歸

  • 3.7.4 隨機梯度下降法

    • 總結

第4章 神經網絡

• 4.1 神經網絡（Neural Network）

  • 4.1.1 感知機和神經元

    • 1. 感知機
    • 2. 神經元

  • 4.1.2 激活函數

    • 1. 階躍函數sign(x)
    • 2. tanh函數
    • 4. ReLU函數

  • 4.1.3 神經網絡和深度學習

  • 4.1.4 多個樣本的正向計算

  • 4.1.5 輸出

  • 4.1.6 損失函數

    • 1. 均方差損失
    • 2. 二分類交叉熵損失
    • 3. 多分類交叉熵損失

  • 4.1.7 基於數值梯度的神經網絡訓練

  • 4.1.8 深度學習

• 4.2 反向求導

4.2.1正向計算和反向求導

• 4.2.2 計算圖

• 4.2.3 損失函數關於輸出的梯度

  • 1. 二分類交叉熵損失函數關於輸出的梯度
  • 2. 均方差損失函數關於輸出的梯度
  • 3. 多分類的交叉熵損失函數關於輸出的梯度

• 4.2.4 2層神經網絡的反向傳播求導

  • 1. 單樣本的反向求導
  • 2. 反向求導的多樣本向量化表示
  • 3. 列向量形式的梯度計算公式

• 4.2.5 2層神經網絡的python實現

• 4.2.6 任意層神經網絡的反向傳播求導

• 4.3 實現一個簡單的深度學習框架

  • 4.3.1 神經網絡的訓練過程

  • 4.3.2 網絡層的代碼實現

  • 4.3.3 網絡層的梯度檢驗

  • 4.3.4 神經網絡類

  • 4.3.5 神經網絡的梯度檢驗

  • 4.3.6 基於深度學習框架的MNIST數據手寫數字識別

  • 4.3.7 改進的通用神經網絡框架：分離加權和與激活函數

    • 梯度驗證

  • 4.3.8 獨立的參數優化器

4.3.9 fashion-mnist的分類訓練

• 4.3. 9 讀寫模型參數

第5章 改進神經網絡性能的基本技巧

• 5.1 數據處理

  • 5.1.1 數據增強

  • 5.1.2 規範化

  • 5.1.3 特徵工程

    • 1. 數據降維與主元分析法

  • 2 白化（Whitening）

• 5.2 參數調試

  • 5.2.1 權重初始化
  • 5.2.2 優化參數

• 5.3 批規範化

  • 5.3.1 什麼是批規範化？
  • 5.3.2 批規範化的反向求導
  • 5.3.3 批規範化的代碼實現

• 5.4 正則化Regularization

  • 5.4.1 權重正則化
  • 5.4.2 Dropout
  • 5.4.3 早停法（Early stopping）

第6章 卷積神經網絡CNN

• 6.1 卷積

  • 6.1.1 什麼是卷積？

    • 跨度

  • 6.1.2 一維信號的捲積

  • 6.1.3 二維卷積

  • 跨度

  • 6.1.4 多輸入通道和多輸出通道

  • 6.1.5 池化

6.2 卷積神經網絡

• 6.2.1 全連接神經元和卷積神經元

• 6.2.2 卷積層和卷積神經網絡

• 6.2.3 卷積層和池化層的反向求導及代碼實現

• 卷積層的反向求導

  • 池化層的反向求導

• 6.2.4 卷積神經網絡的實現

• 6.3 卷積的矩陣乘法

  • 6.3.1 1D樣本卷積的矩陣乘法
  • 6.3.2 2D樣本卷積的矩陣乘法
  • 6.3.3 1D卷積反向求導的矩陣乘法
  • 6.3.4 2D卷積反向求導的矩陣乘法

• 6.4 基於坐標索引的快速卷積

  • 梯度檢驗
  • 與非加速卷積的時間比較

• 6.5 典型的捲積神經網絡結構

  • 6.5.1 LeNet-5
  • 6.5.2 AlexNet
  • 6.5.3 VGG
  • 6.5.4 深度神經網絡的梯度爆炸和消失問題
  • 6.5.5 殘差網絡(Residual Networks (ResNets))
  • 6.5.6 谷歌 Inception 網絡
  • 6.5.7 Network in Network (NiN)

第7章 循環神經網絡RNN

• 7.1 序列問題和模型

  • 7.1.1 股票價格預測問題

  • 7.1.2 概率序列模型、語言模型

    • 1. 概率序列模型
    • 2. 語言模型

  • 7.1.3 自回歸模型

  • 7.1.4 生成自回歸數據

  • 7.1.5 時間窗方法

  • 7.1.6 時間窗採樣

  • 7.1.7 時間窗方法建模和訓練

  • 7.1.8 長期預測和短期預測

  • 7.1.9 股票價格預測

  • 7.1.10 k-gram 語言模型

• 7.2 循環神經網絡

  • 7.2.1 無記憶功能的非循環神經網絡
  • 7.2.2 具有記憶功能的循環神經網絡

• 7.3 穿過時間的反向傳播（Backpropagation through time）

• 7.4 單層循環神經網絡的實現

  • 7.4.1 初始化模型參數
  • 7.4.2 正向計算
  • 7.4.3 損失函數
  • 7.4.4 反向求導
  • 7.4.5 梯度驗證
  • 7.4.6 梯度下降訓練

7.4.7 序列數據的採樣

• 7.4.8 序列數據的RNN訓練和預測

  • 序列數據的訓練
  • 預測
  • 股票數據的訓練和預測

• 7.5 RNN語言模型和文本生成

  • 7.5.1 字符表

  • 7.5.2 字符序列樣本的採樣

  • 7.5.3 RNN模型的訓練和預測

    • 預測

• 7.6 RNN網絡的梯度爆炸和梯度消失

• 7.7 長短期記憶網絡（LSTM）

  • 7.7.1 LSTM的神經元：元胞（cell）

  • 7.7.2 LSTM的反向求導

  • 7.7.3 LSTM的代碼實現

    • 梯度檢驗
    • 文本生成
    • 預測

  • 7.7.4 LSTM的變種

• 7.8 門控循環單元（GRU）

  • 7.8.1 GRU的工作原理
  • 7.8.2 GRU的代碼實現

• 7.9 循環神經網絡的類表示與實現

  • 7.9.1 用類實現循環神經網絡
  • 7.9.2 循環神經網絡單元的類實現
  • 7.10 多層、雙向循環神經網絡

7.10.1 多層循環神經網絡

• 7.10.2 多層循環神經網絡的訓練和預測

• 7.10.3 雙向循環神經網絡

• 7.11 序列到序列（seq2seq）模型

  • 機器翻譯

  • 7.11.1 Seq2Seq模型的實現

  • 7.11.2 字符級機器翻譯的Seq2Seq

    • 1. 字符單詞表
    • 2. 讀取訓練樣本、構建字符單詞表
    • 3. 訓練字符級的Seq2Seq模型

  • 7.11.3 基於Word2Vec的Seq2Seq機器翻譯

    • 1. 單詞向量化 Word2Vec的skip-gram方法

  • 7.11.4 基於詞嵌入層的Seq2Seq模型

    • 1. 詞嵌入層
    • 2. 採用詞嵌入層的Seq2Seq模型

  • 7.11.5 注意力機制

第8章 生成模型

• 8.1 生成模型

• 8.2 自動編碼器

  • 8.2.1 自動編碼器
  • 8.2.2 稀疏編碼器
  • 8.2.3 自動編碼器的實現

• 8.3 變分自動編碼器

  • 8.3.1 什麼是變分自動編碼器？

8.3.2 損失函數

• 8.3.3 參數重採樣

• 8.3.4 反向求導

• 8.3.5 變分自動編碼器的實現

• 8.4 生成對抗網絡

  • 8.4.1 GAN原理

    • 1. 鑑別器和生成器
    • 2. 損失函數
    • 3. 訓練過程

  • 8.4.2 GAN 訓練過程的代碼實現

• 8.5 GAN建模實例

  • 8.5.1 一組實數的GAN建模

    • 1. 真實數據：一組實數
    • 2. 定義鑑別器和生成器函數
    • 3. 真實數據迭代器、噪聲數據迭代器
    • 4. 中間結果繪製函數
    • 5. 訓練GAN

  • 8.5.2 二維坐標點的GAN建模

    • 1. 真實數據：橢圓曲線上採樣的坐標點
    • 2. 真實數據迭代器、噪聲迭代器
    • 3. 定義GAN模型的生成器和鑑別器
    • 4. 訓練GAN模型

  • 8.5.3 MNIST數據集的GAN建模

    • 1. 讀取訓練數據
    • 2. 定義數據迭代器
    • 3. 定義生成器和鑑別器及其優化器

4. 訓練模型

• 8.5.4 GAN訓練技巧

• 8.6 GAN損失函數及其概率解釋

  • 8.6.1 GAN的損失函數的全局最優解
  • 8.6.2 Kullback–Leibler散度和Jensen–Shannon散度
  • 8.6.3 GAN的最大似然解釋

• 8.7 改進的損失函數：Wasserstein GAN（WGAN）

  • 8.7.1 Wasserstein GAN的原理
  • 8.7.2 WGAN的代碼實現

• 8.8 深度卷積對抗網絡 DCGAN

  • 8.8.1 1D向量的轉置卷積
  • 8.8.2 2D轉置卷積
  • 8.8.3 卷積對抗網絡DCGAN的實現
  • 參考文獻