行业动态 › 正文
2026-10-27本地部署 · 选型实测DeepSeek V4.1-Flash 和 Qwen3.8-Flash-Next 都带「Flash」二字,落到本地机器上却是两条完全不同的路:一个把 552B 的 MoE 压到 2.25bpw,用 274 GB 的盘换知识量,默认上下文只有 8,192;另一个 93.7 GB,在 24 GB 卡上实测跑满 262,144 上下文、输出 62–76 tok/s。要让 agent 在本地干活,先看形状、再看上下文,最后才轮到 tok/s。
DeepSeek 走的是「把大模型压到极致、再分层搬运」,Qwen3.8-Flash-Next 走的是「原生 4-bit 量化 + 显存/内存/SSD 三层 + 长上下文」。这两条路在纸面上都是「本地能跑」,但跑起来的手感完全不同。
| 项目 | DeepSeek V4.1-Flash 2.25bpw 档 | Qwen3.8-Flash-Next UD-IQ4_XS |
|---|---|---|
| 权重体积 | 274 GB155 GB 专家集 + 111 GB Engram + 8 GB 草稿器 | 93.7 GB3 个分片,原生 4-bit 无需重打精度 |
| 必须进显存 | dense 权重 16.8 GB单卡不足 16 GB 启动即 OOM 退出 | 按层拆分24 GB 卡够用 余下放内存与 SSD |
| 上下文 | 默认 8,192官方验证过的尺寸 --context 可加大 | 262,144实测跑满 256K 仍 62.3 tok/s |
| 输出速度 | 官方 8–1112 GB 卡 + 46 GB 内存 | 实测 62–761k→256k 基本持平 |
| 视觉 / 并发 | 都不支持--vision、--parallel 带警告忽略 | 支持视觉图像编码器走 CPU |
体积差近 3 倍(274 对 93.7 GB),换来的是知识量:DeepSeek 这一档的基座是 552B 的 MoE,40 层 × 384 专家、每写一个词只用 6 个,官方模型卡称其 2-bit 集保留了基座 98.7% 的任务均分(AIME25、GPQA-Diamond、LiveCodeBench v6)。代价写在下面三节里。
一次工具调用往返通常就是几 K token,系统提示与工具定义先吃掉一截,十几轮下来就会越过 8,192。DeepSeek 官方的口径是:8,192 是「验证过的尺寸」,用 --context 可以要更多,但超出验证范围的速度与稳定性得自己担。同一份文档还写了两条 agent 场景的硬限制:
--parallel 带警告被忽略,请求只能一条一条排。--vision 同样被忽略。扫描件、截图这类材料进不了它的上下文。Qwen3.8 这一侧是另一种答案:262,144 的窗口在默认配置下就能吃满,我们同一批 15 项沙箱工具任务它 15/15 通过、总耗时 669.7 秒。长上下文不是「能力标称」,是这些任务真跑下来没被截断。
DeepSeek 的速度由「多少专家待在内显」决定,官方手里的实测是按显卡档位公布的;下表全部是 2.00bpw 口径(2.25bpw 四卡另有 80 tok/s 的记录)。
| 硬件 | 输出速度 tok/s | 口径 |
|---|---|---|
| RTX 5070 12 GB 64 GB 内存 | 4–6 | 官方实测 |
| RTX 3060 12 GB 46 GB 内存 | 8–11 | 官方实测agent 任务 7.8 |
| 24 GB 单卡 + 128 GB 内存 | 约 10–15 | 方向性估算本文,见下段 |
| 1× Radeon AI PRO R9700 32 GB 251 GB 内存 | 21–25 | 官方实测 |
| 4× Radeon AI PRO R9700 32 GB | 48 | 官方实测 |
为什么 24 GB 单卡只能给估算:dense 的 16.8 GB 先把显存吃掉大半,剩下的专家只能靠内存与 CPU 侧计算,速度落在「12 GB 卡 + 46 GB 内存」的 8–11 与「单卡 R9700 + 251 GB 内存」的 21–25 之间。官方对 40 GB 内存以下的机器直接写「未测且慢」——内存不够就得读盘,那会掉到另一档。作为参照,同一张 24 GB 卡上 Qwen3.8-Flash-Next(UD-IQ4_XS)的自测是 1k 63.6 · 4k 75.7 · 16k 64.4 · 32k 65.3 · 64k 65.7 · 128k 62.2 · 256k 62.3 tok/s。两套数字的机器、引擎、量化与上下文口径都不同,不可相加、不可互相替代。
两边都没有「同一台机器、同一套题」的正面数据,所以这一节不排座次,只把各自的评测口径摆出来——读者要复现,缺的正是这些口径。
选本地 agent 引擎,顺序是「上下文 → 内存 → 速度」,不是反过来。
数据来源:Strata 官方仓库 v0.2.6 说明与文档(README.zh-CN.md、docs/DEEPSEEK41.md、packaging/ENGINE-COMPONENT.md,2026-10);DeepSeek-V4.1-Flash-1017 模型卡(ISTA-DASLab,552B、40 层 × 384 专家、取 6);DeepSeek 速度与质量数字均为官方公布口径(非本站测量),24 GB 单卡 10–15 tok/s 为本文方向性估算;Qwen3.8-Flash-Next(UD-IQ4_XS,93.7 GB)的速度、客观题与 15 项沙箱任务为本站实测(2026-10,RX 7900 XTX 24 GB + 125.6 GiB 内存,Strata 0.1.48 HIP,262,144 上下文),逐档数字与复测记录见同站《消费硬件上的本地大模型实测》。两套数据机器、引擎、量化与上下文口径不同,不可相加或互相替代。本文仅转述公开信息与自测数据,不评判任何企业与产品,不构成投资建议。
我们按「要喂多长的材料、多少轮工具调用、盘和内存够不够」三件事帮你算一遍,再决定是上 DeepSeek 这条路、Qwen 这条路,还是先用 API。
[一张表看懂本地 agent 选谁:DeepSeek 默认 8K 上下文,Qwen3.8 实测 256K 不掉速](https://jiwu.org.cn/news-2026-10-27-flash-agent-choice.html)(机悟 JAVIS,2026-10-27)选一条最费人的流程,看看现有设备能跑什么、要补什么、怎么验——提交后 1 个工作日内联系您;也可以直接加下方企业微信,对接更快。
工作人员将在 1 个工作日内与您联系。急事请直接扫码加企业微信,备注「单位 + 需求」。
加企业微信更快对接