个人笔记

1 基本信息

1.1 书籍名称：《深度学习500问》

1.2 撰写作者：众包

1.3 出版日期：在线书籍

1.4 品读时间：2023-11

1.5 整体耗时：约10h

1.6 摘要

本书系统地描述了深度学习的基本理论算法及应用.以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需

Read more

第十二章 网络搭建及训练

框架对比：Tensorflow VS Pytorch VS Caffe

第十三章 优化算法

没有免费午餐定理(No Free Lunch，简称NFL)：

• 在所有可能的问题上，没有一个算法的平均性能可以超过任何其他算法
• 没有“免费的午餐”，不可能有一个万能的算法可以在所有问题上都表现最好
• 优化算法本质：寻找和探索更符合数据集和问题

Read more

第八章 目标检测

Two Stage 目标检测模型（效果好，但速度相对慢）：

• R-CNN：R-CNN系列的第一代算法，结合了传统的“计算机视觉”知识；将预训练模型（比如CNN）的隐藏层输出作为图像特征，特征输入支持向量机用于预测分类，图像特征+候选边界框输入线性回归模型用于预测真实边界框
• Fast R-CNN：基于R-CNN和SPPnets进行的改进；1. 只对整幅图像进行一次特征提取，避免R-CNN中的冗余特征提取 2. 用RoI pooling（兴趣区域池化）层替换最后一层的max pooling层， 并引

Read more

第四章 经典网络

LeNet-5：用于识别手写数字和机器印刷字符的卷积神经网络

• 使用卷积提取空间特征，使用映射的空间均值进行下采样
• 使用 $tanh$ 或 $sigmoid$ 进行非线性映射（LeNet-5最重要的特性）
• MLP 作为最终的分类器；层间的稀疏连接矩阵以避免巨大的计算开销

AlexNet：首个应用于图像分类的深层卷积神经网络

• 在2012年 ILSVRC 图像分类竞赛中以 15.3% 的top-5测试错误率获胜
• 所有卷积层都使用ReLU作为非线性映射函数，使模型

Read more

（仅对书中部分内容进行摘录和补充）

第一章 数学基础

理解张量（麻辣烫 x，tensor √）

• 标量（scalar）没有方向，也称为0阶张量（Tensors of rank 0）
• 向量每个分量只由一个基向量构成，也称为1阶张量（Tensors of rank 1）
• 考虑固体物体中某点的受力情况，空间表示需要引入1组（3个）基向量来表示一个向量，受力表示也需要引入1组（3个）基向量来表示第二个向量，共3x3个基向量组合
• 如果想要表示所有的平面与平面上的力的组合，需要9个分量，每个分量有2个下标（index）来表示该分量由哪两

Read more

中文标题：训练计算最优的大语言模型

英文标题：Training Compute-Optimal Large Language Models

发布平台：预印本

发

Read more

1 向量数据库概述

“向量数据”：向量数据是由多个数值组成的序列，可以表示数据的大小和方向

向量数据库是一种专门用于存储和查询向量数据的数据库系统，

• 与传统数据库相比，向量数据库使用向量化计算，能够高速地处理大规模的复杂数据
• 可以处理高维数据，例如图像、音频和视频等，解决传统关系型数据库中的痛点
• 支持复杂的查询操作，也可以轻松地扩展到多个节点，以处理更大规模的数据

局

Read more

1 容器与云计算

Docker 目前已经得到了众多公有云平台的支持，并成为除虚拟机之外的核心云业务

与容器相关的云计算主要分为两种类型：

• 传统的 IaaS 服务商提供对容器相关的服务，包括镜像下载、容器托管等
• 直接基于容器技术对外提供容器云服务，即 Container as a Service（CaaS）

平台举例：腾讯云、阿里云、亚马逊云（AWS）

Docker 技术的出现自身就极大推动了云计算行业的发展：

• 更快速的持续交付和部署能力；更丰富的应用开发和部署场景
• 利用内核级虚拟化，对公有云中服务器资源进

Read more

1 安全性保障

评估 Docker 的安全性时，主要考虑三个方面:

• 由内核的命名空间和控制组机制提供的容器内在安全
• Docker 程序（特别是服务端）本身的抗攻击性
• 内核安全性的加强机制对容器安全性的影响

1.1 命名空间和控制组

当容器启动时，后台 Docker 为容器创建了一个独立的命名空间和控制组集合

• 命名空间提供了最基础也是最直接的隔离。在容器中运行的进程不会被运行在主机上的进程和其它容器发现和作用；每个容器都有自己独有的网络栈，所有的容器通过本地

Read more

大模型幻觉的常见三种情况：

• LLM 模型输出内容和输入不一致（驴唇不对马嘴）
• LLM 模型输出内容中包含与上下文不一致的内容（自我矛盾）
• LLM 模型输出内容和世界知识/训练注入的知识不一致

1 幻觉四象限

• 右上是最优情况（知之为知之），左下是次优情况（不知为不知）
• 左上是最差情况，右下是次差的情况；二者需要尽量转移到更优的象限内

2 模型知道，模型认为自己不知道

模型具有正确的内部知识，但模型输出的内容存在错误

如何

Read more