个人笔记

参考文章：2024: The State of Generative AI in the Enterprise

核心观点：

• 企业生成式 AI 正在从实验转向执行；2024 年 AI 支出 138 亿美元， 2023 年是 23 亿；72% 的决策者预计在不久的将来，会更广泛地采用生成式 AI 工具
• 企业生成式 AI 仍处于大规模转型的早期阶段；企业生成式 AI 投资的 60% 来自创新预算；超过三分之一的受访者对于实施生成式 AI 没有明确的愿景，仍在探索生成式 AI 对企业的作用
• 生成式 AI 正在深入到程序应用中； 2024 年 AI 应用支出 46 亿美元， 2023 年是 6 亿

Read more

结论：

• 现阶段 4090 能满足 DL 的入门需要，且 LLMs 推理的性价比最高
• 缺点是性能不足够支持 LLMs 训练（通信不高效，显存不够用）

1 GPU 的基本概念

NVIDIA 的三个产品线：

• GeForce 类型：面向个人计算和游戏市场推出的产品线，适用于游戏、图形处理等，并且在深度学习上的表现也非常出色，很多人用来做推理、训练，性价比高。例如目前热门的 4090、3090等型号
• Quadro 类型：定位于专业可视化市场的产品线，主要面向专业人士和企业用户，例如，影视制作、建筑可视化、产品

Read more

前置知识：模型参数的数据类型

工具推荐：常见模型的显存占用计算器

模型占用

大模型的显存占用主要取决于以下几点：

1. 参数量：以常见的大模型 Llama2为例，其常见的参数量包括7B、13B、70B；其中B表示十亿（billion）的参数级别，7B也就代表70亿个参数
2. 参数精度：常见的浮点精度包括float32（占用4字节，32bit）、float16（16bit）、int8（8bit）、int4（4bit）等，占用空间依次递减，但模型的预测效果也会下滑

以Llama2-7B模型为例，在精度为float32的情况下，模型占用显存为： $$7

Read more