一张表看懂本地能跑的开源大模型：从 8GB 老卡到单机千亿参数——2026 年 10 月本地模型概览

先看懂架构：MoE 为什么让「显存档位」不再是死刑判决

传统稠密模型（每层参数全量参与计算）的部署逻辑很简单：显存装得下量化后的整模型就能跑，装不下就崩。2026 年主流开源旗舰几乎全部转向 MoE（混合专家）：把每层的「专家」做成几十上百个子网络，每次推理只路由到其中一小部分。以本次实测的两款为例——Qwen3.8-Flash-Next 总参数 125B、每 Token 仅激活 6B；小米 4 月的 Qwen3.6-35B-A3B 总参数 35B、激活仅 3B。翻译成人话：模型很「聪明」（容量大），但每次开口只「动一小块脑子」（算力与带宽开销小），于是「按总参数估硬件」的老经验集体失效，新的门槛变成：权重全放哪（显存/内存/SSD）＋激活部分跑多快。

引擎侧的新变量：Strata 把 125B 请进普通 PC——我们实测了

9 月底开源、10 月初冲上技术社区热榜的 Strata（MIT 协议，基于 llama.cpp 深度改造）就是冲着「权重全放哪」来的：它的三级存储把最常用专家驻留显存、全部专家放内存、29GB 级查表留在 SSD 流式读取；再配「小模型先猜、大模型批量验」的推测解码提速 1.6-1.8 倍。我们在本地一台 24GB 显存 + 31GB 内存的机器上完成部署实测：IQ2_XS 量化档（约 66GB 下载量、39.2GB 常驻内存），文本生成 51-77 tokens/s（中文问答、代码场景，专家缓存命中率 87-91%），图片理解单张约 3 秒，接口是标准的 OpenAI/Anthropic 兼容 API，可直接对接现有办公应用与智能体工具链。一句话结论：一台中端工作站，今天可以当「千亿级内网大脑」用——这是两年前必须进云端集群或专业整机才能干的事。

对照表：按你手里的显卡，现在能跑什么

下表综合公开实测（知乎、腾讯云开发者社区、博客园等 2026 年 4-10 月横评）、厂商模型卡与我们本机数据整理；「可跑」指达到可用的出字速度（≥20 tok/s 或可接受的长任务节奏），量化默认 Q4_K_M～Q5_K_M 档：

• 8GB 显存稠密档：7B–8B 全系（Qwen3.8-8B、Gemma 4 8B 等）流畅。注意 Gemma 类模型对低量化敏感，低于 4-bit 逻辑能力明显滑坡。
• 12GB 显存稠密档：14B 量化舒适、32B 量化勉强（约 25 tok/s）；MoE 档：35B-A3B 级别已可完整驻留——小卡的最佳路线是「换架构」而不是「攒显存」。
• 16–24GB 显存单位级甜点位：24GB 卡跑 32B 稠密量化有实战价值；上表「MoE + 31GB 内存」组合即可本地跑 125B（Strata 实测）。多数 2019–2022 年采购的工作站卡都在这条线上。
• 48GB+/双卡/桌面整机70B 级稠密稳定驻留；2.4T 级开源旗舰开始进入「多卡+大内存」的可部署视野。
• 桌面 AI 整机（参考）NVIDIA DGX Spark 64GB 版 10 月 23 日上市、$4999 起，单机约千亿参数、两台池化约 2000 亿——适合要「开箱即用+统一内存」又不想自己攒机的单位。

两个必须说清的坑

一是「能跑 ≠ 能签」。量化每降一档，数学推理、长文事实性、中文细节都在悄悄退步；社区独立基准曾发现某档量化模型「分数好看但实际任务翻车」的案例。选型必须以本单位真实业务样本（卷宗、公文、图纸说明）做小样本验证，而不是看跑分榜。

二是「开源 ≠ 免责」。开放权重同样带许可条款（不同厂商的商用转售、规模限制不同），且模型自带的能力边界（幻觉、提示注入）不会因为「跑在自己机房」就消失。护栏、溯源、权限分级，这些管控责任从云端搬到内网，一样都不会少——这正是本站此前解读《大模型安全护栏成官方测试场景》反复讲的点。