我去年咬牙上了张二手 RTX 2080 11G，本来是想玩游戏，结果被我拿来跑本地大模型。刚部署 Ollama 那会我特别天真：既然有 11G 显存，那当然上最大的模型。ollama pull qwen2.5:32b 一拉，跑起来直接 CUDA out of memory。

我连续 5 天把 7B / 14B / 32B 三个档位、Q4_K_M / Q5_K_M / Q8_0 三种量化，全部实测了一遍。今天给所有 8~12G 显存的兄弟一份真实成绩单。

7B 模型：一律 Q4_K_M

Q4_K_M：显存 5.2G，速度 68 token/s，日常对话够。
Q8_0：显存 7.2G，速度 55 token/s，几乎感觉不出区别。

结论：7B 模型一律 Q4_K_M。Q8 比 Q4 多吃 2G 显存、慢 20%，但中文对话、写文案、写代码这些日常场景，你根本读不出区别。

14B 模型：11G 显存的甜点位

Q4_K_M：显存 9.0G，速度 42 token/s，明显比 7B 聪明。
Q5_K_M：显存 10.2G，速度 35 token/s，推理更强。
Q8_0：显存 14G，爆显存，跑不动。

结论：14B 是 11G 显存的黄金档位，Q5_K_M 刚好塞进 10G 左右。我日常写脚本、分析日志、改 PRD，全部用 qwen2.5:14b-instruct-q5_K_M，35 token/s 基本是"边想边出字"的流畅度。

32B 模型：别硬塞，会有代价

32B Q4_K_M 直接跑要 19G 显存，11G 卡跑不动。但可以把一半层丢给 CPU：OLLAMA_NUM_GPU=40 指定只把 40 层放 GPU，剩下走系统内存。能跑，质量也确实高一个档次，但 8 token/s 的速度，等它输出一段 500 字要 1 分钟，只适合偶尔跑一次严肃推理，不能当日常聊天用。

三个隐藏坑

1. 默认上下文 4096 直接吃掉 3G 显存，锁 2048 直接掉到 8.8G
2. Ollama 模型不自动卸载，设 OLLAMA_KEEP_ALIVE=2m，2分钟不用自动卸载
3. 2080 不支持 FP8/FP4 加速，Q4_K_M 是它的最优解

11G 显存的兄弟，别再盲目追 70B 了。14B Q5 是甜点位，7B Q4 是日常流，32B Q4 offload 是严肃兜底。参数调对了，老卡也能跑出 90% 的云端体验。