分类目录归档:深度学习

《深度学习500问》总结

1 基本信息

1.1 书籍名称:《深度学习500问》

1.2 撰写作者:众包

1.3 出版日期:在线书籍

1.4 品读时间:2023-11

1.5 整体耗时:约10h

1.6 摘要

本书系统地描述了深度学习的基本理论算法及应用.以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述,以帮助自己及有需

Read more

12_19《深度学习500问》训练部署

第十二章 网络搭建及训练

框架对比:Tensorflow VS Pytorch VS Caffe

第十三章 优化算法

没有免费午餐定理(No Free Lunch,简称NFL):

  • 在所有可能的问题上,没有一个算法的平均性能可以超过任何其他算法
  • 没有“免费的午餐”,不可能有一个万能的算法可以在所有问题上都表现最好
  • 优化算法本质:寻找和探索更符合数据集和问题

Read more

8_11《深度学习500问》网络进阶

第八章 目标检测

Two Stage 目标检测模型(效果好,但速度相对慢):

  • R-CNN:R-CNN系列的第一代算法,结合了传统的“计算机视觉”知识;将预训练模型(比如CNN)的隐藏层输出作为图像特征,特征输入支持向量机用于预测分类,图像特征+候选边界框输入线性回归模型用于预测真实边界框
  • Fast R-CNN:基于R-CNN和SPPnets进行的改进;1. 只对整幅图像进行一次特征提取,避免R-CNN中的冗余特征提取 2. 用RoI pooling(兴趣区域池化)层替换最后一层的max pooling层, 并引

Read more

4_7《深度学习500问》神经网络

第四章 经典网络

LeNet-5:用于识别手写数字和机器印刷字符的卷积神经网络

  • 使用卷积提取空间特征,使用映射的空间均值进行下采样
  • 使用 $tanh$ 或 $sigmoid$ 进行非线性映射(LeNet-5最重要的特性)
  • MLP 作为最终的分类器;层间的稀疏连接矩阵以避免巨大的计算开销

AlexNet:首个应用于图像分类的深层卷积神经网络

  • 在2012年 ILSVRC 图像分类竞赛中以 15.3% 的top-5测试错误率获胜
  • 所有卷积层都使用ReLU作为非线性映射函数,使模型

Read more

1_3《深度学习500问》基础篇

(仅对书中部分内容进行摘录和补充)

第一章 数学基础

理解张量(麻辣烫 x,tensor √)

  • 标量(scalar)没有方向,也称为0阶张量(Tensors of rank 0)
  • 向量每个分量只由一个基向量构成,也称为1阶张量(Tensors of rank 1)
  • 考虑固体物体中某点的受力情况,空间表示需要引入1组(3个)基向量来表示一个向量,受力表示也需要引入1组(3个)基向量来表示第二个向量,共3x3个基向量组合
  • 如果想要表示所有的平面与平面上的力的组合,需要9个分量,每个分量有2个下标(index)来表示该分量由哪两

Read more

《动手学深度学习》总结

1 基本信息

1.1 书籍名称### 1 什么是 Docker:《动手学深度学习》

1.2 撰写作者:阿斯顿·张,李沐等

1.3 出版日期:在线书籍

1.4 品读时间:2021年12月-2022年8月

1.5 整体耗时:约60h

2 什么是

Read more

15.《动手学深度学习》自然语言处理:应用

1 情感分析与数据集

情感分析(sentiment analysis):研究人们在文本中 (如产品评论、博客评论和论坛讨论等)“隐藏”的情绪

常见应用领域

  • 政治(如公众对政策的情绪分析)
  • 金融(如市场情绪分析)
  • 营销(如产品研究和品牌管理)

情感分析采用的示例数据集是电影评价数据集

基于PyTorch的情感分析数据读取与预处理:

import os
import torch
fr

Read more

14.《动手学深度学习》自然语言处理:预训练

1 词嵌入(Word2vec)

任意两个不同的 one-hot(独热)向量余弦相似度为0:无法编码词的相似性

两个经典的word2vec模型:skip-gram和CBOW

细节可参阅:[[1_study/DeepLearning/基础神经网络/word2vec 系列]]

2 近似训练

当词表较大

Read more

0.《动手学深度学习》英文版补充

《动手学深度学习》的英文版更新比中文版更及时,因此存在新增的内容

本文针对英文版增添的内容进行简要补充,尚未观看本书或笔记的读者建议先看正文

1 《线性神经网络》的内容拆分与丰富

英文版中,将原本的第三章3.《动手学深度学习》线性神经网络拆分为两个部分:用于回归的线性神经网络和用于分类的线性神经网络

在英文版的第3章《用于回归的线性神经网络》的内容概述如下:

  • 保留中文版第3章的线性回归及其代码实现
  • 新增与面向对象设计相关的概念说明和代码示

Read more

11.《动手学深度学习》优化算法

1 优化和深度学习

优化算法的目标是减少训练误差,追求损失最小化

深度学习的目标是减少泛化误差,寻找合适的模型

由于深度学习的优化算法一般是围绕误差传播和梯度展开的,因此围绕当梯度消失或值接近0时,会极大地干扰到深度学习的优化过程,其中常见的三种情况是:

  • 局部最优值:当数值解迭代至局部最优解时,梯度会接近0,最终使得模型收敛到一个次优的结果,通过在训练过程中添加一定程度的噪

Read more