分类目录归档:动手学深度学习

《动手学深度学习》总结

1 基本信息

1.1 书籍名称### 1 什么是 Docker:《动手学深度学习》

1.2 撰写作者:阿斯顿·张,李沐等

1.3 出版日期:在线书籍

1.4 品读时间:2021年12月-2022年8月

1.5 整体耗时:约60h

2 什么是

Read more

15.《动手学深度学习》自然语言处理:应用

1 情感分析与数据集

情感分析(sentiment analysis):研究人们在文本中 (如产品评论、博客评论和论坛讨论等)“隐藏”的情绪

常见应用领域

  • 政治(如公众对政策的情绪分析)
  • 金融(如市场情绪分析)
  • 营销(如产品研究和品牌管理)

情感分析采用的示例数据集是电影评价数据集

基于PyTorch的情感分析数据读取与预处理:

import os
import torch
fr

Read more

14.《动手学深度学习》自然语言处理:预训练

1 词嵌入(Word2vec)

任意两个不同的 one-hot(独热)向量余弦相似度为0:无法编码词的相似性

两个经典的word2vec模型:skip-gram和CBOW

细节可参阅:[[1_study/DeepLearning/基础神经网络/word2vec 系列]]

2 近似训练

当词表较大

Read more

0.《动手学深度学习》英文版补充

《动手学深度学习》的英文版更新比中文版更及时,因此存在新增的内容

本文针对英文版增添的内容进行简要补充,尚未观看本书或笔记的读者建议先看正文

1 《线性神经网络》的内容拆分与丰富

英文版中,将原本的第三章3.《动手学深度学习》线性神经网络拆分为两个部分:用于回归的线性神经网络和用于分类的线性神经网络

在英文版的第3章《用于回归的线性神经网络》的内容概述如下:

  • 保留中文版第3章的线性回归及其代码实现
  • 新增与面向对象设计相关的概念说明和代码示

Read more

11.《动手学深度学习》优化算法

1 优化和深度学习

优化算法的目标是减少训练误差,追求损失最小化

深度学习的目标是减少泛化误差,寻找合适的模型

由于深度学习的优化算法一般是围绕误差传播和梯度展开的,因此围绕当梯度消失或值接近0时,会极大地干扰到深度学习的优化过程,其中常见的三种情况是:

  • 局部最优值:当数值解迭代至局部最优解时,梯度会接近0,最终使得模型收敛到一个次优的结果,通过在训练过程中添加一定程度的噪

Read more

10.《动手学深度学习》注意力机制

Read more

9.《动手学深度学习》现代循环神经网络

1 门控循环单元(GRU)

1.1 GRU概述

1_study/DeepLearning/基础神经网络/循环神经网络#GRU

1.2 代码

Read more

8.《动手学深度学习》循环神经网络

1 序列模型

与序列相关的有趣概念

  • 锚定(anchoring)效应:对于初始信息的过度重视,即常言道的”先入为主“
  • 享乐适应(hedonic adaption):突然有钱比一直有钱更快乐,长期吃美食然后再吃普通的食物会觉得难吃,即常言道的”由奢入俭难“

序列预测的相关概念:

  • 外推法(extrapolatio

Read more

13.《动手学深度学习》计算机视觉

Read more

12.《动手学深度学习》计算性能

1 编译器和解释器

首先需要理解编译和解释的联系与区别

二者的联系:都是将高级语言翻译成机器语言执行的过程

过程上的区别:编译是将源程序翻译成可执行的目标代码,翻译与执行是分开的;而解释是对源程序的翻译与执行一次性完成,不生成可存储的目标代码。

结果上的区别:编译的话会把输入的源程序翻译生成为目标代码,并存下来(无论是存在内存中还是磁盘上),后续执行可以复用;解释的话则是把源程序中的指令逐条解释,不生成也不存下

Read more