课程介绍
这门课从零讲清深度学习的核心原理。先介绍神经网络的结构、感知机与 Sigmoid、Tanh、ReLU、Softmax 等激活函数，用代码实现简单神经网络和手写数字识别；接着讲 MSE 与交叉熵损失、数值微分与梯度计算、梯度下降与 SGD，并从计算图和链式法则出发推导反向传播，逐层实现 ReLU、Sigmoid、Affine 和输出层。
进阶部分讲深度神经网络中的梯度消失与梯度爆炸，动量法、学习率衰减、AdaGrad、RMSProp、Adam 等优化方法与超参数调节，Xavier/He 参数初始化，以及 Batch Norm、权值衰减和 Dropout 正则化。
PyTorch 部分系统讲张量的创建、类型转换、数值与统计运算、索引和形状操作、自动微分与 detach，再用全连接层、Sequential、各类损失函数和优化器搭建网络，完成线性回归和房价预测案例。最后讲 CNN 的卷积、填充、步幅与池化并实现服装分类，以及词嵌入、RNN 的结构与 API，完成古诗生成案例。
网盘说明：本课程为百度网盘资源。压缩包需要解压密码，购买后在下载区查看。
课程目录
课程简介与神经网络基础
001 课程简介
002 深度学习 概述
003 神经网络 基本概念和结构
004 神经网络 感知机和激活函数
005 激活函数 阶跃、Sigmoid和Tanh
006 激活函数 ReLU
007 激活函数 Softmax
008 其它激活函数
009 简单神经网络 信号传递
010 简单神经网络 代码实现
011 神经网络案例 手写数字识别 整体思路
012 神经网络案例 手写数字识别 具体实现
013 神经网络案例 手写数字识别 小批量计算
损失函数与数值微分
014 损失函数 MSE
015 损失函数 交叉熵误差
016 损失函数 分类和回归任务常见损失函数
017 数值微分 求导
018 数值微分 计算切线
019 数值微分 偏导数和梯度
020 数值微分 计算梯度
021 定义神经网络类
022 神经网络的梯度计算
梯度下降法与 SGD
023 梯度下降法 原理和代码实现
024 梯度下降法案例 求最小值
025 梯度下降法 超参数的影响
026 梯度下降法 训练相关概念
027 梯度下降法 SGD基本原理
028 梯度下降法 SGD案例 神经网络类实现
029 梯度下降法 SGD案例 加载数据和定义超参数
030 梯度下降法 SGD案例 模型训练和测试
反向传播
031 反向传播 计算图和反向求导
032 反向传播 链式法则
033 反向传播 加法和乘法节点
034 反向传播 激活函数层 ReLU
035 反向传播 激活函数层 Sigmoid
036 反向传播 仿射层Affine
037 反向传播 输出层 基本介绍
038 反向传播 输出层 原理推导
039 反向传播 输出层 代码实现
040 综合应用案例 手写数字识别 定义网络类
041 综合应用案例 手写数字识别 模型训练和测试
深度神经网络与学习优化
042 深度神经网络
043 梯度消失和梯度爆炸
044 学习优化方法 SGD
045 学习优化方法 动量法
046 学习优化方法 学习率衰减
047 学习优化方法 AdaGrad
048 学习优化方法 RMSProp
049 学习优化方法 Adam
050 学习优化方法 综合对比
051 学习优化方法 超参数的调节
052 参数初始化 常数初始化及其问题
053 参数初始化 Xavier和He初始化
054 正则化 Batch Norm
055 正则化 权值衰减和Dropout
PyTorch 基础：张量与自动微分
056 PyTorch 基本介绍
057 PyTorch 安装流程及CUDA介绍
058 PyTorch 安装完成验证
059 PyTorch 张量创建 按内容
060 PyTorch 张量创建 按形状
061 PyTorch 张量创建 按类型
062 PyTorch 张量创建 指定区间
063 PyTorch 张量创建 按数值填充
064 PyTorch 张量创建 随机生成
065 PyTorch 随机排列和随机数种子
066 PyTorch 张量转换 元素数据类型转换
067 PyTorch 张量转换 张量和ndarray的转换
068 PyTorch 张量转换 张量和标量的转换
069 PyTorch 张量数值计算 基本运算
070 PyTorch 张量数值计算 哈达玛积和矩阵乘法
071 PyTorch 节省内存
072 PyTorch 张量统计运算函数
073 PyTorch 张量索引操作 简单索引和范围索引
074 PyTorch 张量索引操作 列表索引
075 PyTorch 张量索引操作 布尔索引
076 PyTorch 张量形状操作 交换维度
077 PyTorch 张量形状操作 调整形状
078 PyTorch 张量形状操作 增减维度
079 PyTorch 张量拼接和堆叠
080 PyTorch 自动微分模块 计算梯度基本流程
081 PyTorch 自动微分模块 梯度计算原理
082 PyTorch 自动微分模块 分离张量
083 PyTorch 自动微分模块 detach对梯度计算的影响
084 PyTorch 自动微分模块 detach与data的区别
085 PyTorch 线性回归案例 模块和流程介绍
086 PyTorch 线性回归案例 代码实现
PyTorch 深度学习：网络搭建、损失函数与优化器
087 PyTorch深度学习 激活函数 Sigmoid
088 PyTorch深度学习 激活函数 Tanh
089 PyTorch深度学习 激活函数 ReLU
090 PyTorch深度学习 激活函数 Softmax
091 PyTorch深度学习 全连接层和参数初始化
092 PyTorch深度学习 Dropout层
093 PyTorch深度学习 神经网络搭建
094 PyTorch深度学习 查看模型参数
095 PyTorch深度学习 查看模型结构和参数数量
096 PyTorch深度学习 device设置
097 PyTorch深度学习 使用Sequential创建神经网络
098 PyTorch深度学习 损失函数 BCE
099 PyTorch深度学习 损失函数 CrossEntropyLoss
100 PyTorch深度学习 损失函数 回归任务损失函数
101 PyTorch深度学习 损失函数 综合测试
102 PyTorch深度学习 动量法
103 PyTorch深度学习 学习率衰减 等间隔
104 PyTorch深度学习 学习率衰减 指定间隔和指数衰减
105 PyTorch深度学习 AdaGrad和RMSProp
106 PyTorch深度学习 Adam
房价预测案例
107 房价预测案例 数据分析和导入模块
108 房价预测案例 特征工程
109 房价预测案例 模型创建
110 房价预测案例 定义损失函数
111 房价预测案例 训练模型和测试
CNN 卷积神经网络与服装分类案例
112 CNN 基本结构
113 CNN 卷积层 基本介绍
114 CNN 卷积层 数学上的卷积
115 CNN 卷积层 CNN的卷积运算
116 CNN 卷积层 填充
117 CNN 卷积层 步幅和输出形状计算
118 CNN 卷积层 3维数据卷积运算
119 CNN 卷积层 API调用和测试
120 CNN 池化层 基本概念和特点
121 CNN 池化层 API调用和测试
122 CNN 深度卷积神经网络
123 服装分类案例 加载数据集
124 服装分类案例 创建模型
125 服装分类案例 模型训练
126 服装分类案例 模型测试
NLP 与 RNN：古诗生成案例
127 NLP概述
128 词向量和词嵌入
129 嵌入层API使用
130 词嵌入应用和NLP模型
131 RNN 基本结构和原理
132 RNN API调用
133 RNN 输入输出形状
134 古诗生成案例 数据预处理
135 古诗生成案例 创建数据集
136 古诗生成案例 创建模型
137 古诗生成案例 模型训练
138 古诗生成案例 生成新诗
配套资料
尚硅谷大模型技术之深度学习1.3.0（笔记）
dl_tutorial（代码）
fashion-mnist_train.csv、house_prices.csv、poems.txt（数据集）
