「本地能跑多大」2026 年 10 月测算版：权重、KV、量化、引擎四张账，附 13 组实测速度

本文为完整技术版（公式、口径表与逐项实测）。只想看结论与预算，见同站 《一张表看懂 10 月本地能跑多大模型》。

先给结论：四句话，四笔账

• 权重账是一道除法体积 ≈ 参数量 × 位宽 ÷ 8。125B 的 4bit 约 63GB，753B 的 4bit 约 376GB——「装不下」首先是算术问题，不是玄学。
• KV 缓存才是长上下文的真凶它逐 token 线性叠加，不是按比例慢慢涨。27B 这一代每 token 约 64 KiB（FP16），开到 262k 单这一项就要 17GB 上下。
• 量化省体积、掉长尾2.8T 的模型能被压到 594GB，代价是 Top-1 一致率降到 78.9%。「能跑」和「能签」是两件事。
• 引擎已经是采购要素同一个 27B、同样两张 3090，llama.cpp 约 41 tokens/s，换 vLLM 配投机解码可到 89–128 tokens/s。

账一：权重体积，一道除法加一点误差

先算体积：GB ≈ 参数量（B）× 位宽 ÷ 8。这个式子算出来的是下界——真实文件还要加上嵌入表、视觉塔、量化缩放系数与元数据，通常比下界大 10%–25%。以已有的 Qwen3.8-27B（稠密，27.78B）为例，公开 GGUF 文件大小与公式下界对得很齐：

量化档位	公开文件大小	公式下界（27.78B）	说明
UD-IQ2_XXS	7.27 GB	≈ 7.0 GB（2bit）	8GB 卡可用，精度损失明显
UD-Q3_K_XL	13.15 GB	≈ 10.4 GB（3bit）	12GB 卡的现实选择
UD-Q4_K_M	16.46 GB	≈ 13.9 GB（4bit）	16GB 卡刚好、24GB 卡舒适
UD-Q4_K_XL	17.56 GB	≈ 15.6 GB（4.5bit 混合）	我们案例里长期在跑的一档
UD-Q6_K	21.98 GB	≈ 20.8 GB（6bit）	24GB 卡接近满驻留

把同一个式子套到旗舰上，就能立刻判断「单机到底有没有可能」：

模型	总参 / 激活	上下文	权重与最小可跑内存	许可口径
Qwen3.8-Flash-Next	125B / 6B	原生 262,144，可扩 1M	4bit ≈ 63GB；12GB 显卡 + 大内存可跑（引擎侧方案）	Qwen 社区许可 1.0（非 Apache）
GLM-5.3	753B / 约 40B	1M	FP8 约 756GB；2bit 约 245GB；8bit 约 810GB	GLM-5.3 自定义许可（年营收超 100 亿美元的托管方需审查）
Kimi K3	2.8T / 104B	1M	全精度 1.56TB；1bit 594GB（需约 610GB 内存）；2bit 861GB	Kimi K3 License（年营收超 2000 万美元的模型即服务受限）
MiMo-V2.6-Pro / Flash	1.02T / 42B；309B / 15B	1M	Flash 的 FP8 权重 172.9GB	MIT
DeepSeek V4-Pro / Flash	1.6T / 49B；284B / 13B	1M	照 4bit 估算：约 800GB / 约 142GB	MIT

这张表最有用的一列不是参数，是许可。五个模型里两个是自定义许可：Qwen3.8-Flash-Next 用的是 Qwen 社区许可 1.0，不是前代的 Apache 2.0；GLM-5.3 与 Kimi K3 各自带一份自定义条款，前者对「年营收超 100 亿美元且对外托管」设了安全审查前置，后者对「年营收超 2000 万美元的模型即服务」设了商业限制。对政企单位，这意味着「权重能下载」不等于「可以随便对外提供」——内网自用通常没问题，做成对外产品或 SaaS 之前必须先看许可。

账二：KV 缓存，长上下文的真凶

权重是一次性的，KV 缓存是持续增长的。每一层注意力都要为每个 token 保存一份 Key 和 Value，所以显存随上下文线性上涨。公式是：每 token 字节 = 2（K 与 V）× kv_heads × head_dim × 需要缓存的层数 × 每元素字节。

麻烦在于「需要缓存的层数」不等于总层数。这一代 27B 用了混合结构（部分线性注意力层，只维护固定大小的循环状态，不随上下文增长），真正建 KV 缓存的只有全注意力层。以公开拆解的 Qwen 27B 为例：16 层全注意力、4 个 KV 头、head_dim 256。

• 每 token 元素数2 × 4 × 256 × 16 = 32,768 个元素
• FP16 每 token32,768 × 2 字节 = 65,536 字节 = 64 KiB
• 开到 262k64 KiB × 262,144 = 16 GiB ≈ 17.2 GB
• 用 FP8 存 KV直接减半，同样的 262k 约 8.6 GB

这就是为什么「权重 16.74GB 的 27B 能跑在 16GB 卡上」和「27B 开 262k 上下文」是两件完全不同的事：前者只看权重，后者要连 KV 一起算。把两笔加总，账面立刻变得具体：

配置（27B Q4_K_M 16.74GB）	权重 + KV	放在哪
+ 170K 上下文，FP16 KV	约 27.9 GB	双 3090（48GiB）余 17GB 左右
+ 262K 上下文，FP16 KV	约 33.9 GB	双 3090 仍放得下
+ 262K 上下文，FP8 KV	约 25.3 GB	还能留出并发空间
单张 16GB 卡 + 262K（部分 offload）	权重占满 16GB，KV 走内存	社区实测：生成 42.7 tok/s，20k 上下文时 prefill 658 tok/s，200k 时降到 35 tok/s / 500 tok/s

我们自己那台 32GB 显存的机器是另一个方向的样本：27B 的 Q4_K_XL（17.56GB）、开到 218,000 上下文，再叠一个 4B 的嵌入模型（3.22GB），两个模型合计占到 31.9 / 34.2 GB——余量只有 2.3GB。这台机器能天天跑，靠的是把嵌入模型全部层放进 GPU、把上下文预算写死，而不是「显存越大越保险」。这套配置的实测记录在真实案例页里可以逐项核对。

账三：引擎，同一张卡能差出三倍

这一笔账去年还不存在。现在同一个模型、同一对二手 3090，换引擎和加速方式，解码速度能差一倍以上。原因不复杂：单路解码的速度上限由「每个 token 要把多少权重从显存读一遍」决定，3090 的带宽约 936 GB/s，27B 的 Q4 权重约 15.7GB（扣掉不会被整表流式读取的嵌入层），理论单卡上限就是 936 ÷ 15.7 ≈ 59.6 tok/s；投机解码（小模型先猜、大模型批量验）能突破这条带宽天花板，因为它一次权重读取验证多个 token。

更极端的是「省显存」这一路。Strata 这类基于 llama.cpp 改造的引擎，把 125B MoE 的 24,576 个专家按热度分层——最常用的几千个驻留显存、全部专家放内存、一张查找表放 SSD，每 token 只调用其中 10 个专家，再叠投机解码（官方称提速 1.6–1.8 倍）。公开实测数据给出的组合是这样的：

• 12GB 的 RTX 5070Q2 量化下输出 94 tok/s、读提示词 2,650 tok/s，系统内存最低 32GB 即可。
• 约 1000 美元的二手整机（老款工作站 + 双 12GB 3060 + 64GB DDR4）四档量化都在 52–63 tok/s，上下文都开到 256K。
• RTX 5090 + 9950X三组测试平均 142 → 207 tok/s；长上下文下专家缓存命中率 96%–98%。
• 对照组同一台 192GB 统一内存的机器，用 llama.cpp 跑同一个 125B + 4B 草稿模型，约 34 tok/s——引擎差异，比硬件差异更直接。

代价同样要说清：这条路线高度依赖「模型是 MoE + 专家热度集中」，几乎是为单个模型量身定做；省下来的显存并没有消失，而是转移到系统内存，长上下文想舒服，128GB 内存是更现实的起点。

账四：量化，省的是体积、掉的是长尾

「能跑」与「能签」之间隔着量化。Kimi K3 的公开量化评估是目前少见的完整样本——同一套校准集，给出了困惑度、KLD 与 Top-1 一致率：

量化档位	体积	平均 KLD	困惑度	Top-1 一致率
UD-IQ1_S（动态 1bit）	594 GB	0.5645	2.579	78.9%
UD-IQ1_M	649 GB	0.4789	2.364	81.2%
UD-IQ2_XXS	711 GB	0.3784	2.127	84.1%
UD-Q2_K_XL（动态 2bit）	861 GB	0.1779	1.736	90.4%
UD-Q8_K_XL（对照，接近无损）	1,560 GB	按定义对齐	1.458	基线

同样的事情在 753B 上更刺眼：2bit 版本 245GB 内存就能跑起来，官方给出的 Top-1 保持率约 86%；但 8bit 版本要 810GB。也就是说，「压到能跑」通常意味着每五到十个回答里有一个跟全精度不一样——做摘要、做检索问答可以接受，做金额、条款、数字的核对就必须留人。

另一条路是换数值格式而不是硬压位宽：动态 NVFP4 在同等体积下能比通用 NVFP4 快约 2.5 倍，精度损失更小。方向很明确——位宽之争正在变成格式之争，评估时要问清楚「你说的 4bit 是哪一种 4bit」。

硬件：三条路线，价格都在往上走

方案	当前价格	你能得到什么
二手 3090 24GB	约 8,000 元/张，一年涨 63%	27B 全驻留 + 长上下文；双卡可跑到 262K
RTX 5090D 32GB	10-13 行情约 44,464 元（首发一万六出头）	单卡 32GB + 高带宽，125B 类 MoE 的加速上限
RTX Pro 6000 96GB	约 1.5 万美元	单卡 96GB，753B 级低比特开始有意义
DGX Spark 64GB	4,999 美元起，10-23 开卖	厂商口径单机可跑到约 1000 亿参数；两台经 ConnectX-7 池化到 128GB
AMD AI Max+ 395 128GB 整机	约 2.5 万元	统一内存，跑 125B–300B 的低比特版本
AI Max+ PRO 495 192GB 移动工作站	约 7,449 美元（约 5 万元）	300B 4bit（权重约 150GB）可整载，速度不及独显

三条路线各有各的边界：独显路线速度快、显存天花板低（消费级 32GB 到顶）；统一内存路线容量大、带宽低，适合「装得下比跑得快更重要」的场景；引擎省显存路线几乎零成本（软件免费、MIT），但吃内存、吃模型适配。真正的坏消息在价格端：DDR5 现货较 2025 年低位涨超 5 倍，SSD 合约价连续六季上涨、同比约三倍，显卡因为存储颗粒被 AI 抢产能而同步上行——「等降价再买」这个选项，2026 年基本不存在。

六档配置：能跑什么、上下文能开多大

硬件	能跑什么	上下文	瓶颈
8GB 显存	7–9B 稠密（Q4/Q5）	16K–32K	KV 一长就挤，长文档只能分段
12GB 显存	14B 舒适；27B 需 Q3；125B 走引擎路线（Q2 94 tok/s）	32K（27B）/ 256K（引擎路线）	系统内存要 64–128GB，量化偏低
16–24GB 显存	27B 全驻留（Q4_K_M 16.46GB）；35B-A3B 全驻留	128K 舒适、262K 需 FP8 KV 或 offload	上下文一开大就挤占权重
48GB（双 3090）	27B + 262K 双开；70B 级 Q4 勉强	262K（FP16 KV 仍有余量）	TP=2 的通信开销，batch=1 时收益有限
64–128GB 统一内存	125B 级 MoE、300B 级低比特	128K–256K	带宽低，单路解码 30–50 tok/s
192GB 以上	753B 的 2bit（约 245GB）仍差一截；2.8T 门槛 610GB	视方案而定	单机已到物理极限，需多机或集群

三个坑：能跑 ≠ 能签 ≠ 能对外

• 能跑不等于能签低比特量化的损失集中在长尾：金额、编号、条款引用、否定句。选型必须用本单位真实样本（卷宗、公文、图纸说明）做小样本对照，而不是看跑分榜。
• 上下文不是免费的午餐开到 262K 的代价可能是 17GB 显存；同一份材料，切片检索往往比硬灌全文更快、更准、更便宜。
• 许可与护栏一起搬进了内网自定义许可对「对外托管/模型即服务」普遍有营收门槛与审查条款；护栏、溯源、权限分级的责任，也不会因为「跑在自己机房」就消失。这条我们此前解读过（大模型安全护栏成官方测试场景）。

来源：阿里云开发者社区与 IT之家（Qwen3.8-Flash-Next 125B/6B、262,144→1M 上下文，2026-08-26）、Hugging Face 模型卡与 Qwen 社区许可 1.0（许可口径）、Unsloth 文档与腾讯云开发者社区（Kimi K3 量化体积、KLD、Top-1 一致率，2026-09-08）、至顶智库（GLM-5.3 753B/40B 激活、自定义许可、2bit 245GB 与 8bit 810GB，2026-09-02）、OrcaRouter（MiMo-V2.6-Pro 1.02T/42B、Flash 309B/15B 与 MIT 许可，2026-09-21）、ofox.ai（Qwen3.8-27B 各量化 GGUF 文件大小）、lftw.dev（27B 的 KV 缓存算式、双 3090 各引擎实测与带宽上限，2026-08-30）、掘金社区转述的 16GB 卡 262K 实测（2026-10-19）、至顶 AI 实验室与 Strata 项目文档（125B 三级存储、5070/双 3060/5090 实测、专家命中率与投机解码，2026-10-15）、超能网与界面新闻（DGX Spark 64GB 4,999 美元、10-23 开卖）、ZAKER/网易科技与至顶智库（AI Max+ 395 128GB、PRO 495 192GB 价格）、什么值得买与博客园（二手 3090 约 8,000 元、一年涨 63%、5090D 44,464 元）。上述速度、体积、价格均为对应机构/社区与厂商口径，属方向性数据，以官方发布与本单位实测为准。本文仅转述公开信息与技术测算，不评判任何企业与产品，不构成投资建议。

返回行业动态列表（共 127 条）→