分类目录归档:ai

深度学习的GPU选配

结论:

  • 现阶段 4090 能满足 DL 的入门需要,且 LLMs 推理的性价比最高
  • 缺点是性能不足够支持 LLMs 训练(通信不高效,显存不够用)

1 GPU 的基本概念

NVIDIA 的三个产品线:

  • GeForce 类型:面向个人计算和游戏市场推出的产品线,适用于游戏、图形处理等,并且在深度学习上的表现也非常出色,很多人用来做推理、训练,性价比高。例如目前热门的 4090、3090等型号
  • Quadro 类型:定位于专业可视化市场的产品线,主要面向专业人士和企业用户,例如,影视制作、建筑可视化、产品

Read more

大模型的显存占用

前置知识:模型参数的数据类型

模型占用

大模型的显存占用主要取决于以下几点:

  1. 参数量:以常见的大模型 Llama2为例,其常见的参数量包括7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数
  2. 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑

以Llama2-7B模型为例,在精度为float32的情况下,模型占用显存为: $$7\times 10^9\times

Read more