🎮 GPU 显存部署计算器
想在云服务器上部署开源模型,到底要租多大的显卡?输入参数量与量化精度,算出推理与微调所需显存,直接告诉你租 RTX 4090 还是必须上 A100。
推理所需最小显存
0 GB
权重 0 + KV Cache 0 + 冗余
全参微调0 GB
LoRA 微调0 GB
💡 估算含约 5% 运行时冗余。KV Cache 随上下文长度与并发线性增长,长上下文服务要额外留余量。全参微调 ≈ 16 字节/参数(权重+梯度+Adam),LoRA 只需冻结权重 + 少量适配层。
租卡前先看这里:国内 GPU 算力平台注册就送代金券与免费算力——启智社区、潞晨云免费额度,星宇智算教育 5 折,AutoDL 学生价。先去 GPU 算力福利 把能领的领了再租卡,能省一大笔。