消费硬件上的本地大模型实测：最快 130 tok/s、最慢 25 tok/s

一、先交代家底：3 台机器、9 个配置、四个维度

本地模型的对照必须先固定「机器 + 引擎 + 量化 + 上下文」四件事，否则数字毫无意义。这次用到的是三套环境：

机器	显卡 / 内存	引擎	时间
机A（现役）	RX 7900 XTX 24 GB 125.6 GiB 内存 · i7-14700F	Strata 0.1.47（HIP）/ llama.cpp fcac190 （Vulkan + 私有 Mesa 26.2.5）	2026-09 ~ 10
机A（双卡期）	XTX 24 GB + RTX 3090 24 GB + 32 GiB 内存	llama.cpp （Vulkan + CUDA 双构建）	2026-09
机B（R9700）	R9700 32 GB	Ollama / llama.cpp	2026-08

四个维度分别是：解码速度（tok/s）、上下文天花板（能跑多长且不掉速）、客观题（MMLU-Pro / GSM8K / MATH-500）、真实任务（15 项在沙箱里跑、程序判分的工具任务）。

二、速度：最快的不是最大的那个

先看在同一张 24 GB 卡上的解码速度（单位 tok/s，均为自测记录）：

模型 / 量化	权重体积	引擎	解码速度（tok/s，按上下文档）
GLM-4.7-Flash（i1-Q5_K_M）	≈ 20 GB	llama.cpp	96K 127.8 · 128K 130.0 · 192K 128.6
Swift-1.5-Qwen3.8-27B （Q4_K_M，dense+SSM 27B）	≈ 18 GB	llama.cpp （MTP n=2）	67.2 ± 1.0（119,808 ctx，5 次重复）
Qwen3.8-Flash-Next（UD-IQ4_XS，MoE）	93.7 GB	Strata （显存+内存+SSD）	1k 63.6 · 4k 75.7 · 16k 64.4 · 32k 65.3 64k 65.7 · 128k 62.2 · 256k 62.3
Qwen3.8-Flash-Next-unc（Q4_K_M）	≈ 47 GB	Strata	1k 56.8 · 4k 68.4 · 32k 57.4 · 64k 50.3 · 256k 49.4
Qwen3.8-Flash-Next-unc （Q5_K_M，MoE）	134.1 GB	Strata （显存+内存+SSD）	32K–64K 44.6 · 64K–96K 43.5 真实负载中位（154 条请求），非定长扫描；上限 131K
Qwen3.8-27B（UD-Q4_K_XL，Dense）	17.6 GB	llama.cpp	1k 68.7 · 4k 70.9 · 16k 58.4 · 32k 62.0 · 60k 51.1
Qwen3.8-27B（Q5_K_M，开 MTP）	18.2 GB	llama.cpp （XTX / 3090 CUDA）	16K：XTX 63.7 · 3090 60.0（关 MTP 仅 34.8 / 37.4）
Qwen3.8-27B-unc（Q5_K_P）	20.2 GB	Ollama （R9700 32 GB）	65K ≈ 25
Qwen3.6-35B-A3B （Q4_K_M，MoE 35B/激活 3B）	21.2 GB	Ollama （R9700 32 GB）	65K ≈ 82

五个反直觉的结论：

• 20 GB 的 GLM 跑出 130 tok/s，比 93.7 GB 的 Flash-Next 快一倍多——但它是短提示单条生成的口径（生成 385–391 token），不代表长文档吞吐。
• MoE 是速度的主要变量：35B-A3B（激活 3B）在 32 GB 卡上约 82 tok/s，而同机器的 27B Dense 只有约 25 tok/s。
• 27B Dense 短提示最快（68.7），但它是唯一在 60K 就掉到 51.1 的——「起跑快」不等于「耐力好」。
• 最大的那个最慢，但没掉队：134.1 GB 的 Q5_K_M 靠 90 GiB 常驻预算和专家缓存，在 24 GB 卡上跑出 43–45 tok/s（真实负载中位，8K→96K 几乎不衰减）——比 93.7 GB 的 UD-IQ4_XS 慢约三成，权重越大、分层搬运的代价越明显。
• Swift-1.5 是 27B 量级的另一条路：dense+SSM 混合架构，MTP 下解码 67.2 ± 1.0 tok/s（固定 360 token 提示、5 次重复），llama-bench pp512 921、tg64 39.4；视觉往返 3.43 s（mmproj 上 GPU）对 15.0–16.1 s（编码器留 CPU），差 4.4 倍。

三、上下文：一条 256K 的水平线，和一条 196K 的高位线

长上下文是本地部署最容易翻车的地方。这次测到的三条曲线很不一样：

• Flash-Next（UD-IQ4_XS）：262,144 上下文下，1k→256k 解码始终在 62–76 tok/s，几乎是一条水平线；256K 时仍有 62.3 tok/s，预填 1,113 tok/s。
• Flash-Next-unc（Q5_K_M）：131,072 上下文下，8K→96K 解码中位从 45.5 到 43.5 tok/s（真实负载，不是定长扫描），KV 有 98.6% 命中显存；代价是常驻 69 GiB page-locked 要 83 秒、显存只剩 0.4 GiB 余量。
• GLM-4.7-Flash：在 96K / 128K / 192K 三档分别 127.8 / 130.0 / 128.6 tok/s，说明它的长上下文开销也很小——但 192K 是这次测到的上限。
• 27B Dense：32K 还有 62.0，60K 只剩 51.1；128K 必须关掉视觉才能跑，182K 时视觉编码直接 OOM（显存余量 0.04 GB）。
• 3090 的墙更低：同样的 27B + 视觉 + MTP，XTX 能上 70K，3090 加载即 OOM，48K 才安全（余约 1 GB）。

换句话说：要「长且稳」，看 Flash-Next；要「长且快」，看 GLM；要「短且省」，27B 依然够用。

四、能力：同一批题，差 3 个百分点意味着什么

同样的题库、同一个模板、seed=42，在本机跑出来的成绩：

模型 / 配置	MMLU-Pro（200 题）	GSM8K（40 题）	MATH-500（30 题）
Flash-Next-unc（Q4_K_M）	63.5%	100%	70.0%重试 73.3%
Qwen3.8-27B（Q4_K_XL）	60.5%	95.0%除截断 100%	70.0%重试 73.3%
Flash-Next（UD-IQ4_XS，基线）	60.0%	97.5%	66.7%重试 70.0%
Flash-Next（q4km-int8 标定）	59.5%	100%	76.7%
Flash-Next（UD-IQ4_XS，最终优化版）	56.5%	97.5%	76.7%

三句话读懂这张表：

• 量级不是决定因素：93.7 GB 的 MoE 与 17.6 GB 的 Dense 在 MMLU-Pro 上只差 0–3 个百分点，MATH-500 上 MoE 还赢 6.7 分。
• 同一模型、不同量化，波动比换模型还大：Flash-Next 从 56.5% 到 63.5%（7 个百分点），取决于量化档与内核标定。
• 真实任务才是分水岭：15 项沙箱工具任务里，Flash-Next 与 27B 都是 15/15，总耗时 669.7 秒 vs 674.4 秒——几乎打平。而 37 题的行业验收集（R9700 机型）上，三个模型都是 37/37，差别在速度与引用精确度：35B-A3B 平均 13 秒、法条告警 3 条；27B-UD 30 秒、告警 4 条；27B-unc 43 秒、告警 6 条。

五、取舍：三条路线，别找全能选手

• ① 短指令、高频工具调用：选 MoE 小激活模型（35B-A3B、GLM-4.7-Flash）。速度是 27B Dense 的 1.2–5 倍，代价是长上下文与复杂推理的余量小。
• ② 长文档、卷宗、整本材料：选 Flash-Next 这类「分层 + KV 量化」路线，24 GB 卡就能吃下 256K；代价是要接受 62–76 tok/s 而不是 130。
• ③ 单机、单模型、什么都要干一点：27B Dense 仍是最稳的「万金油」——17.6 GB 全量进显存、短提示最快、生态最成熟；代价是 60K 以后掉速、128K 要砍视觉。

六、没跑成的，也一并记账

只报跑通的成绩是不诚实的。这一轮真正「没成」的是两个；另有一个曾经被误判，一并说明：

• Nemotron 3.5 Lightning 30B-A3B：只做了尺寸评估（Q2–Q4 量化 18.8–25.5 GB，单卡可放），没有跑出 tok/s，所以不进上面的速度表。
• Swift-1.5-Qwen3.8-27B（已修正，不是没跑成）：早期一次启动日志里出现「no usable GPU found」，查下来是私有 Mesa 26.2.5 的 ICD 需要预加载系统 libdrm，否则 VK_ERROR_INITIALIZATION_FAILED 直接退到 CPU——补上预加载后 10-20 实测正常，数据已进上表。
• GLM-5.3-Flash（320B/激活 18B）：最小量化 IQ1_S 就要 93.1 GB，官方推荐档 UD-Q2_K_XL 108.7 GB。本机 24 GB 显存 + 125.6 GiB 内存跑不了，只能走 API 或等更小的蒸馏版。

数据来源：本机 benchmark 结果文件与运行日志（2026-08 ~ 2026-10-23：perf_*、mmlu_pro_*、gsm8k_*、math500_*、hermes_agent_tasks*、glm-sweep-*.log、mtp-ab-result-*.log、llama-bench-3090-*.log）、Qwen38-27B 单卡优化报告（2026-10-14）、Mesa 26.2.5 RADV 升级报告（2026-10-18）、双卡 GPU 优化报告（2026-09-19）、R9700 机型 daxing 37 题验收集（2026-08-31）、本地大模型选型报告（2026-09-16，Nemotron / GLM-5.3-Flash 尺寸评估）、Strata 会话日志 strata-unc-q5km.log（Q5_K_M，快照 2026-10-23 17:37）。所有数字均为自有设备自测记录，不同机器、引擎、量化与上下文口径互不可替代；GLM-4.7-Flash 为单条生成口径（385–391 token），与 pp512 类基准不可直接比较。本文仅陈述自测数据与公开技术口径，不评判任何企业与产品，不构成投资建议。

返回行业动态列表（共 127 条）→