大模型训练和推理显存用量计算方法

[Valdanitooooo]

方法一: 直接在线计算

https://huggingface.co/spaces/hf-accelerate/model-memory-usage

方法二: 使用accelerate命令行计算

install

pip install accelerate
pip install transformers

usage

accelerate estimate-memory Qwen/Qwen1.5-1.8B-Chat-AWQ

方法三

根据经验

方法一, 方法二只是个理论值, 实际值会有偏差, 尤其是transformers 源码中没有支持的模型, 偏差会更大一些