第1章 编程和数学基础

• 1.1 Python快速入门

  • 1.1.1 Python安装

    • Python解释器的安装
    • jupyter notebook编程环境
    • Anaconda安装工具

  • 1.1.2 对象、print()函数、类型转换、注释、变量、input()函数

    • 1. 对象

    • 2. 打印函数print()

    • 3. 类型转换

    • 4. 注释

    • 5. 变量

    • 6. input()函数

      • 1.1.3 运算

    • [下标运算符[]](#下标运算符)

    • 字符串的格式化

  • 1.1.4 控制语句

    • 1. if 语句
    • 2. while语句
    • 3. for语句

  • 1.1.5 Python常用容器类型

    • 1. list（列表）
    • 索引
    • 切片
    • for 遍历所有元素
    • 2. tuple（元组）
    • 3. set（集合）
    • 4. dict（字典）

  • 1.1.6 函数

    • math数学包
    • 全局变量和局部变量
    • Anonymous/Lambda Function（匿名/lambda函数）
    • 嵌套函数、闭包
    • yield和生成器

  • 1.1.7 类和对象

  • 1.1.8 Matplotlib入门

    • subplot()
    • Axes objects
    • mplot3d
    • 显示图像

• 1.2 张量库numpy

  • 1.2.1 什么是张量？

    • 1 向量
    • 向量的范数
    • 2 矩阵
    • 3 三维张量

  • 1.2.2 创建ndarray对象

    • 1. array()
    • 2. 多维数组类型ndarray
    • 3. asarray()
    • 4. ndarray的tolist()方法
    • 5. astype()和reshape()
    • 6. arange()和linspace()
    • 7. full()、empty()、zeros()、ones()、eye()
    • 8. 创建随机值张量的常用函数
    • 9. 添加、重复与铺设、合并与分裂、边缘填充、添加轴与交换轴
    • 重复repeat()
    • 铺设tile()
    • 合并concatenate()
    • 叠加stack()
    • column_stack()、hstack()、vstack()
    • 分裂split()
    • 边缘填充
    • 添加轴
    • 交换轴

  • 1.2.3 ndarry数组的索引和切片

  • 1.2.4 张量的计算

    • 1. 逐元素计算
    • Hadamard乘积
    • 2. 累积计算
    • 3. 点积
    • 4 广播Broadcasting

• 1.3 微积分

  • 1.3.1 函数

  • 1.3.2 四则和复合运算

    • 四则运算
    • 复合

  • 1.3.3 极限、导数

    • 1. 数列的极限
    • 2. 函数的极限与连续性
    • 3. 函数的导数

  • 1.3.4 导数的四则运算和链式求导法则

  • 1.3.5 计算图、正向计算、反向传播求导

  • 1.3.6 多变量函数的偏导数与梯度

  • 1.3.7 向量值函数的导数与Jacobian矩阵

  • 1.3.8 积分

• 1.4 概率基础

  • 1.4.1 概率

  • 1.4.2 条件概率、联合概率、全概率公式、贝叶斯公式

  • 1.4.3 随机变量

  • 1.4.4 离散型随机变量的概率分布列

  • 1.4.5 连续性随机变量的概率密度

  • 1.4.6 随机变量的分布函数

  • 1.4.7 期望、方差、协方差、协变矩阵

    • 1. 均值和期望
    • 2. 方差、标准差
    • 3. 协方差、协变矩阵

第2章 梯度下降法

• 2.1 函数极值的必要条件

• 2.2 梯度下降法(gradient descent)

• 2.3 梯度下降法的参数优化策略

  • 2.3.1 Momentum动量法
  • 2.3.2 Adagrad法
  • 2.3.3 Adadelta法
  • 2.3.4 RMSprop法
  • 2.3.5 Adam法

• 2.4 梯度验证

  • 2.4.1 比较数值梯度和分析梯度
  • 2.4.2 通用的数值梯度
  • 2.5 分离梯度下降算法与参数优化策略
  • 2.5.1 参数优化器
  • 2.5.2 接受参数优化器的梯度下降法

第3章 线性回归、逻辑回归和softmax回归

• 3.1 线性回归

  • 3.1.1 餐车利润问题

• 3.1.2 机器学习与人工智能

  • 1. 机器学习
  • 2. 机器学习与人工智能的关系
  • 3. 机器学习的分类

• 3.1.3 什么是线性回归？

  • 3.1.4 正规方程求解线性回归问题

• 3.1.5 梯度下降法求解线性回归问题

• 3.1.6 调试学习率

• 3.1.7 梯度验证

• 3.1.8 预测

• 3.1.9 多特征的线性回归

  • 1. 多特征线性回归
  • 2. 拟合平面
  • 3. 温度与压强问题

• 3.1.10 数据的规范化

• 3.2 模型的评估

  • 3.2.1 欠拟合和过拟合
  • 3.2.2 验证集、测试集
  • 3.2.3 学习曲线
  • 3.2.4 预测大坝出水量
  • 3.2.5 偏差和方差（Bias-Variance）

• 3.3 正则化（Regularization） - 增加正则项的损失函数变为

• 3.5 逻辑回归

  • 3.5.1 逻辑回归

  • 3.5.2 逻辑回归的numpy实现

    • 1. 生成数据
    • 2. 梯度下降法的代码实现
    • 3. 计算损失函数值
    • 4. 决策曲线
    • 5. 预测的准确性
    • 6. Scikit-Learn库的逻辑回归

  • 3.5.3 实战：鸢尾花分类的numpy实现

• 3.6 softmax回归

  • 3.6.1 spiral数据集

  • 3.6.2 softmax函数

  • 3.6.3 softmax回归

    • 多样本形式

  • 3.6.4 多分类交叉熵损失

  • 3.6.5 通过加权和计算交叉熵损失

  • 3.6.6 softmax回归的梯度计算

    • 1. 交叉熵损失关于加权和的梯度
    • 2. 交叉熵损失关于权值参数的梯度

  • 3.6.7 softmax回归的梯度下降法的实现

  • 2.6.8 spiral数据集的softmax回归

• 3.7 批梯度下降法和随机梯度下降法

  • 3.7.1 MNIST 手写数字集

  • 3.7.2 用部分训练样本训练逻辑回归

  • 3.7.3 批梯度下降法及实现

    • Fasion MNIST训练集的softmax回归

  • 3.7.4 随机梯度下降法

    • 总结

第4章 神经网络

• 4.1 神经网络（Neural Network）

  • 4.1.1 感知机和神经元

    • 1. 感知机
    • 2. 神经元

  • 4.1.2 激活函数

    • 1. 阶跃函数sign(x)
    • 2. tanh函数
    • 4. ReLU函数

  • 4.1.3 神经网络和深度学习

  • 4.1.4 多个样本的正向计算

  • 4.1.5 输出

  • 4.1.6 损失函数

    • 1. 均方差损失
    • 2. 二分类交叉熵损失
    • 3. 多分类交叉熵损失

  • 4.1.7 基于数值梯度的神经网络训练

  • 4.1.8 深度学习

• 4.2 反向求导

  • 4.2.1正向计算和反向求导

  • 4.2.2 计算图

  • 4.2.3 损失函数关于输出的梯度

    • 1. 二分类交叉熵损失函数关于输出的梯度
    • 2. 均方差损失函数关于输出的梯度
    • 3. 多分类的交叉熵损失函数关于输出的梯度

  • 4.2.4 2层神经网络的反向传播求导

    • 1. 单样本的反向求导
    • 2. 反向求导的多样本向量化表示
    • 3. 列向量形式的梯度计算公式

  • 4.2.5 2层神经网络的python实现

  • 4.2.6 任意层神经网络的反向传播求导

• 4.3 实现一个简单的深度学习框架

  • 4.3.1 神经网络的训练过程

  • 4.3.2 网络层的代码实现

  • 4.3.3 网络层的梯度检验

  • 4.3.4 神经网络类

  • 4.3.5 神经网络的梯度检验

  • 4.3.6 基于深度学习框架的MNIST数据手写数字识别

  • 4.3.7 改进的通用神经网络框架：分离加权和与激活函数

    • 梯度验证

  • 4.3.8 独立的参数优化器

  • 4.3.9 fashion-mnist的分类训练

  • 4.3. 9 读写模型参数

第5章 改进神经网络性能的基本技巧

• 5.1 数据处理

  • 5.1.1 数据增强

  • 5.1.2 规范化

  • 5.1.3 特征工程

    • 1. 数据降维与主元分析法

  • 2 白化（Whitening）

• 5.2 参数调试

  • 5.2.1 权重初始化
  • 5.2.2 优化参数

• 5.3 批规范化

  • 5.3.1 什么是批规范化？
  • 5.3.2 批规范化的反向求导
  • 5.3.3 批规范化的代码实现

• 5.4 正则化Regularization

  • 5.4.1 权重正则化
  • 5.4.2 Dropout
  • 5.4.3 早停法（Early stopping）

第6章 卷积神经网络CNN

• 6.1 卷积

  • 6.1.1 什么是卷积？

    • 跨度

  • 6.1.2 一维信号的卷积

  • 6.1.3 二维卷积

  • 跨度

  • 6.1.4 多输入通道和多输出通道

  • 6.1.5 池化

• 6.2 卷积神经网络

  • 6.2.1 全连接神经元和卷积神经元

  • 6.2.2 卷积层和卷积神经网络

  • 6.2.3 卷积层和池化层的反向求导及代码实现

  • 卷积层的反向求导

    • 池化层的反向求导

  • 6.2.4 卷积神经网络的实现

• 6.3 卷积的矩阵乘法

  • 6.3.1 1D样本卷积的矩阵乘法
  • 6.3.2 2D样本卷积的矩阵乘法
  • 6.3.3 1D卷积反向求导的矩阵乘法
  • 6.3.4 2D卷积反向求导的矩阵乘法

• 6.4 基于坐标索引的快速卷积

  • 梯度检验
  • 与非加速卷积的时间比较

• 6.5 典型的卷积神经网络结构

  • 6.5.1 LeNet-5
  • 6.5.2 AlexNet
  • 6.5.3 VGG
  • 6.5.4 深度神经网络的梯度爆炸和消失问题
  • 6.5.5 残差网络(Residual Networks (ResNets))
  • 6.5.6 谷歌 Inception 网络
  • 6.5.7 Network in Network (NiN)

第7章 循环神经网络RNN

• 7.1 序列问题和模型

  • 7.1.1 股票价格预测问题

  • 7.1.2 概率序列模型、语言模型

    • 1. 概率序列模型
    • 2. 语言模型

  • 7.1.3 自回归模型

  • 7.1.4 生成自回归数据

  • 7.1.5 时间窗方法

  • 7.1.6 时间窗采样

  • 7.1.7 时间窗方法建模和训练

  • 7.1.8 长期预测和短期预测

  • 7.1.9 股票价格预测

  • 7.1.10 k-gram 语言模型

• 7.2 循环神经网络

  • 7.2.1 无记忆功能的非循环神经网络
  • 7.2.2 具有记忆功能的循环神经网络

• 7.3 穿过时间的反向传播（Backpropagation through time）

• 7.4 单层循环神经网络的实现

  • 7.4.1 初始化模型参数

  • 7.4.2 正向计算

  • 7.4.3 损失函数

  • 7.4.4 反向求导

  • 7.4.5 梯度验证

  • 7.4.6 梯度下降训练

  • 7.4.7 序列数据的采样

  • 7.4.8 序列数据的RNN训练和预测

    • 序列数据的训练
    • 预测
    • 股票数据的训练和预测

• 7.5 RNN语言模型和文本生成

  • 7.5.1 字符表

  • 7.5.2 字符序列样本的采样

  • 7.5.3 RNN模型的训练和预测

    • 预测

• 7.6 RNN网络的梯度爆炸和梯度消失

• 7.7 长短期记忆网络（LSTM）

  • 7.7.1 LSTM的神经元：元胞（cell）

  • 7.7.2 LSTM的反向求导

  • 7.7.3 LSTM的代码实现

    • 梯度检验
    • 文本生成
    • 预测

  • 7.7.4 LSTM的变种

• 7.8 门控循环单元（GRU）

  • 7.8.1 GRU的工作原理
  • 7.8.2 GRU的代码实现

• 7.9 循环神经网络的类表示与实现

  • 7.9.1 用类实现循环神经网络
  • 7.9.2 循环神经网络单元的类实现
  • 7.10 多层、双向循环神经网络
  • 7.10.1 多层循环神经网络
  • 7.10.2 多层循环神经网络的训练和预测
  • 7.10.3 双向循环神经网络

• 7.11 序列到序列（seq2seq）模型

  • 机器翻译

  • 7.11.1 Seq2Seq模型的实现

  • 7.11.2 字符级机器翻译的Seq2Seq

    • 1. 字符单词表
    • 2. 读取训练样本、构建字符单词表
    • 3. 训练字符级的Seq2Seq模型

  • 7.11.3 基于Word2Vec的Seq2Seq机器翻译

    • 1. 单词向量化 Word2Vec的skip-gram方法

  • 7.11.4 基于词嵌入层的Seq2Seq模型

    • 1. 词嵌入层
    • 2. 采用词嵌入层的Seq2Seq模型

  • 7.11.5 注意力机制

第8章 生成模型

• 8.1 生成模型

• 8.2 自动编码器

  • 8.2.1 自动编码器
  • 8.2.2 稀疏编码器
  • 8.2.3 自动编码器的实现

• 8.3 变分自动编码器

  • 8.3.1 什么是变分自动编码器？
  • 8.3.2 损失函数
  • 8.3.3 参数重采样
  • 8.3.4 反向求导
  • 8.3.5 变分自动编码器的实现

• 8.4 生成对抗网络

  • 8.4.1 GAN原理

    • 1. 鉴别器和生成器
    • 2. 损失函数
    • 3. 训练过程

  • 8.4.2 GAN 训练过程的代码实现

• 8.5 GAN建模实例

  • 8.5.1 一组实数的GAN建模

    • 1. 真实数据：一组实数
    • 2. 定义鉴别器和生成器函数
    • 3. 真实数据迭代器、噪声数据迭代器
    • 4. 中间结果绘制函数
    • 5. 训练GAN

  • 8.5.2 二维坐标点的GAN建模

    • 1. 真实数据：椭圆曲线上采样的坐标点
    • 2. 真实数据迭代器、噪声迭代器
    • 3. 定义GAN模型的生成器和鉴别器
    • 4. 训练GAN模型

  • 8.5.3 MNIST数据集的GAN建模

    • 1. 读取训练数据
    • 2. 定义数据迭代器
    • 3. 定义生成器和鉴别器及其优化器
    • 4. 训练模型

  • 8.5.4 GAN训练技巧

• 8.6 GAN损失函数及其概率解释

  • 8.6.1 GAN的损失函数的全局最优解
  • 8.6.2 Kullback–Leibler散度和Jensen–Shannon散度
  • 8.6.3 GAN的最大似然解释

• 8.7 改进的损失函数：Wasserstein GAN（WGAN）

  • 8.7.1 Wasserstein GAN的原理
  • 8.7.2 WGAN的代码实现

• 8.8 深度卷积对抗网络 DCGAN

  • 8.8.1 1D向量的转置卷积
  • 8.8.2 2D转置卷积
  • 8.8.3 卷积对抗网络DCGAN的实现
  • 参考文献