个人笔记

GAIA 基准测试保留了 300 个问题用来构建 AI 模型的排名

• GAIA 设计的问题对人类来说简直轻而易举，而对大多数 A 来说却很有挑战性
• 即，人类回答准确率为 92%，而用上插件的 GPT-4 回答准确率仅为 15%
• GAIA 设计的问题需要 AI 模型具备推理、多模态处理或工具使用熟练程度等基本能力

GAIA 的设计原则（原始论文）：

1. 概念上简单但多样化（对人类来说比较乏味，考验 AI 的快速适应力）
2. 可解释性；让用户很容易理解模型的推理轨迹
3. 对记忆的鲁棒性；计划并成功地完成一些步骤
4. 易用性；问题的答案是简洁和明确的事实

GAIA 的问题示例：

• 一级问题：最多只需要一

Read more

广告形式

信息流广告：最传统的互联网广告方式，在2006年由Facebook 首先推出

Feeds流广告：原本是信息流广告的英文叫法，后逐步演变为直播间信息流广告

Feedslive：抖音直播间的一种广告形式，实时直播画面或实时画面+卡片

Banner：网页广告形式，通常以图像或多媒体的形式展示在网页上的特定位置

基础平台

DSP（Demand-Side Platform，需求方平台）：为甲方提供的跨媒介跨平台跨终端广告投放平台

DMP（Data Management Platform，数

Read more

1 基本信息

1.1 书籍名称：《深度学习500问》

1.2 撰写作者：众包

1.3 出版日期：在线书籍

1.4 品读时间：2023-11

1.5 整体耗时：约10h

1.6 摘要

本书系统地描述了深度学习的基本理论算法及应用.以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需

Read more

第十二章 网络搭建及训练

框架对比：Tensorflow VS Pytorch VS Caffe

第十三章 优化算法

没有免费午餐定理(No Free Lunch，简称NFL)：

• 在所有可能的问题上，没有一个算法的平均性能可以超过任何其他算法
• 没有“免费的午餐”，不可能有一个万能的算法可以在所有问题上都表现最好
• 优化算法本质：寻找和探索更符合数据集和问题

Read more

第八章 目标检测

Two Stage 目标检测模型（效果好，但速度相对慢）：

• R-CNN：R-CNN系列的第一代算法，结合了传统的“计算机视觉”知识；将预训练模型（比如CNN）的隐藏层输出作为图像特征，特征输入支持向量机用于预测分类，图像特征+候选边界框输入线性回归模型用于预测真实边界框
• Fast R-CNN：基于R-CNN和SPPnets进行的改进；1. 只对整幅图像进行一次特征提取，避免R-CNN中的冗余特征提取 2. 用RoI pooling（兴趣区域池化）层替换最后一层的max pooling层， 并引

Read more

第四章 经典网络

LeNet-5：用于识别手写数字和机器印刷字符的卷积神经网络

• 使用卷积提取空间特征，使用映射的空间均值进行下采样
• 使用 $tanh$ 或 $sigmoid$ 进行非线性映射（LeNet-5最重要的特性）
• MLP 作为最终的分类器；层间的稀疏连接矩阵以避免巨大的计算开销

AlexNet：首个应用于图像分类的深层卷积神经网络

• 在2012年 ILSVRC 图像分类竞赛中以 15.3% 的top-5测试错误率获胜
• 所有卷积层都使用ReLU作为非线性映射函数，使模型

Read more

（仅对书中部分内容进行摘录和补充）

第一章 数学基础

理解张量（麻辣烫 x，tensor √）

• 标量（scalar）没有方向，也称为0阶张量（Tensors of rank 0）
• 向量每个分量只由一个基向量构成，也称为1阶张量（Tensors of rank 1）
• 考虑固体物体中某点的受力情况，空间表示需要引入1组（3个）基向量来表示一个向量，受力表示也需要引入1组（3个）基向量来表示第二个向量，共3x3个基向量组合
• 如果想要表示所有的平面与平面上的力的组合，需要9个分量，每个分量有2个下标（index）来表示该分量由哪两

Read more

中文标题：训练计算最优的大语言模型

英文标题：Training Compute-Optimal Large Language Models

发布平台：预印本

发

Read more

1 向量数据库概述

“向量数据”：向量数据是由多个数值组成的序列，可以表示数据的大小和方向

向量数据库是一种专门用于存储和查询向量数据的数据库系统，

• 与传统数据库相比，向量数据库使用向量化计算，能够高速地处理大规模的复杂数据
• 可以处理高维数据，例如图像、音频和视频等，解决传统关系型数据库中的痛点
• 支持复杂的查询操作，也可以轻松地扩展到多个节点，以处理更大规模的数据

局

Read more

1 容器与云计算

Docker 目前已经得到了众多公有云平台的支持，并成为除虚拟机之外的核心云业务

与容器相关的云计算主要分为两种类型：

• 传统的 IaaS 服务商提供对容器相关的服务，包括镜像下载、容器托管等
• 直接基于容器技术对外提供容器云服务，即 Container as a Service（CaaS）

平台举例：腾讯云、阿里云、亚马逊云（AWS）

Docker 技术的出现自身就极大推动了云计算行业的发展：

• 更快速的持续交付和部署能力；更丰富的应用开发和部署场景
• 利用内核级虚拟化，对公有云中服务器资源进

Read more