个人笔记

1 基本信息

1.1 书籍名称：《深度学习500问》

1.2 撰写作者：众包

1.3 出版日期：在线书籍

1.4 品读时间：2023-11

1.5 整体耗时：约10h

1.6 摘要

本书系统地描述了深度学习的基本理论算法及应用.以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需

Read more

第十二章 网络搭建及训练

框架对比：Tensorflow VS Pytorch VS Caffe

第十三章 优化算法

没有免费午餐定理(No Free Lunch，简称NFL)：

• 在所有可能的问题上，没有一个算法的平均性能可以超过任何其他算法
• 没有“免费的午餐”，不可能有一个万能的算法可以在所有问题上都表现最好
• 优化算法本质：寻找和探索更符合数据集和问题

Read more

第八章 目标检测

Two Stage 目标检测模型（效果好，但速度相对慢）：

• R-CNN：R-CNN系列的第一代算法，结合了传统的“计算机视觉”知识；将预训练模型（比如CNN）的隐藏层输出作为图像特征，特征输入支持向量机用于预测分类，图像特征+候选边界框输入线性回归模型用于预测真实边界框
• Fast R-CNN：基于R-CNN和SPPnets进行的改进；1. 只对整幅图像进行一次特征提取，避免R-CNN中的冗余特征提取 2. 用RoI pooling（兴趣区域池化）层替换最后一层的max pooling层， 并引

Read more

第四章 经典网络

LeNet-5：用于识别手写数字和机器印刷字符的卷积神经网络

• 使用卷积提取空间特征，使用映射的空间均值进行下采样
• 使用 $tanh$ 或 $sigmoid$ 进行非线性映射（LeNet-5最重要的特性）
• MLP 作为最终的分类器；层间的稀疏连接矩阵以避免巨大的计算开销

AlexNet：首个应用于图像分类的深层卷积神经网络

• 在2012年 ILSVRC 图像分类竞赛中以 15.3% 的top-5测试错误率获胜
• 所有卷积层都使用ReLU作为非线性映射函数，使模型

Read more

（仅对书中部分内容进行摘录和补充）

第一章 数学基础

理解张量（麻辣烫 x，tensor √）

• 标量（scalar）没有方向，也称为0阶张量（Tensors of rank 0）
• 向量每个分量只由一个基向量构成，也称为1阶张量（Tensors of rank 1）
• 考虑固体物体中某点的受力情况，空间表示需要引入1组（3个）基向量来表示一个向量，受力表示也需要引入1组（3个）基向量来表示第二个向量，共3x3个基向量组合
• 如果想要表示所有的平面与平面上的力的组合，需要9个分量，每个分量有2个下标（index）来表示该分量由哪两

Read more