前置知识:模型参数的数据类型
工具推荐:常见模型的显存占用计算器
模型占用
大模型的显存占用主要取决于以下几点:
- 参数量:以常见的大模型 Llama2为例,其常见的参数量包括7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数
- 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑
以Llama2-7B模型为例,在精度为float32的情况下,模型占用显存为: $$7