行业动态 › 正文

2026-10-27本地部署 · 选型实测

一张表看懂本地 agent 选谁:DeepSeek 默认 8K 上下文,Qwen3.8 实测 256K 不掉速

DeepSeek V4.1-Flash 和 Qwen3.8-Flash-Next 都带「Flash」二字,落到本地机器上却是两条完全不同的路:一个把 552B 的 MoE 压到 2.25bpw,用 274 GB 的盘换知识量,默认上下文只有 8,192;另一个 93.7 GB,在 24 GB 卡上实测跑满 262,144 上下文、输出 62–76 tok/s。要让 agent 在本地干活,先看形状、再看上下文,最后才轮到 tok/s。

一、先看形状:两套权重把「本地跑」理解成了两件事

DeepSeek 走的是「把大模型压到极致、再分层搬运」,Qwen3.8-Flash-Next 走的是「原生 4-bit 量化 + 显存/内存/SSD 三层 + 长上下文」。这两条路在纸面上都是「本地能跑」,但跑起来的手感完全不同。

项目DeepSeek V4.1-Flash
2.25bpw 档
Qwen3.8-Flash-Next
UD-IQ4_XS
权重体积274 GB155 GB 专家集
+ 111 GB Engram
+ 8 GB 草稿器
93.7 GB3 个分片,原生 4-bit
无需重打精度
必须进显存dense 权重 16.8 GB单卡不足 16 GB
启动即 OOM 退出
按层拆分24 GB 卡够用
余下放内存与 SSD
上下文默认 8,192官方验证过的尺寸
--context 可加大
262,144实测跑满
256K 仍 62.3 tok/s
输出速度官方 8–1112 GB 卡
+ 46 GB 内存
实测 62–761k→256k 基本持平
视觉 / 并发都不支持--vision、--parallel
带警告忽略
支持视觉图像编码器走 CPU

体积差近 3 倍(274 对 93.7 GB),换来的是知识量:DeepSeek 这一档的基座是 552B 的 MoE,40 层 × 384 专家、每写一个词只用 6 个,官方模型卡称其 2-bit 集保留了基座 98.7% 的任务均分(AIME25、GPQA-Diamond、LiveCodeBench v6)。代价写在下面三节里。

二、agent 干活先撞上的是上下文,不是算力

一次工具调用往返通常就是几 K token,系统提示与工具定义先吃掉一截,十几轮下来就会越过 8,192。DeepSeek 官方的口径是:8,192 是「验证过的尺寸」,用 --context 可以要更多,但超出验证范围的速度与稳定性得自己担。同一份文档还写了两条 agent 场景的硬限制:

  • 不支持并发:--parallel 带警告被忽略,请求只能一条一条排。
  • 不支持图片:--vision 同样被忽略。扫描件、截图这类材料进不了它的上下文。
  • 有一个对 agent 友好的设计:引擎会为多轮对话留「会话槽」——一个对话被别的请求打断时先存起来(约 17 MB / 6.5K token,上限 2 GB、一周清理),同一系统提示的 sub-agent 起子任务时不必把提示重读一遍。

Qwen3.8 这一侧是另一种答案:262,144 的窗口在默认配置下就能吃满,我们同一批 15 项沙箱工具任务它 15/15 通过、总耗时 669.7 秒。长上下文不是「能力标称」,是这些任务真跑下来没被截断。

三、速度:两条轴不能混用

DeepSeek 的速度由「多少专家待在内显」决定,官方手里的实测是按显卡档位公布的;下表全部是 2.00bpw 口径(2.25bpw 四卡另有 80 tok/s 的记录)。

硬件输出速度
tok/s
口径
RTX 5070 12 GB
64 GB 内存
4–6官方实测
RTX 3060 12 GB
46 GB 内存
8–11官方实测agent 任务 7.8
24 GB 单卡
+ 128 GB 内存
约 10–15方向性估算本文,见下段
1× Radeon AI PRO R9700 32 GB
251 GB 内存
21–25官方实测
4× Radeon AI PRO R9700 32 GB48官方实测

为什么 24 GB 单卡只能给估算:dense 的 16.8 GB 先把显存吃掉大半,剩下的专家只能靠内存与 CPU 侧计算,速度落在「12 GB 卡 + 46 GB 内存」的 8–11 与「单卡 R9700 + 251 GB 内存」的 21–25 之间。官方对 40 GB 内存以下的机器直接写「未测且慢」——内存不够就得读盘,那会掉到另一档。作为参照,同一张 24 GB 卡上 Qwen3.8-Flash-Next(UD-IQ4_XS)的自测是 1k 63.6 · 4k 75.7 · 16k 64.4 · 32k 65.3 · 64k 65.7 · 128k 62.2 · 256k 62.3 tok/s。两套数字的机器、引擎、量化与上下文口径都不同,不可相加、不可互相替代。

四、能力:不做跨模型排名,只并列口径

两边都没有「同一台机器、同一套题」的正面数据,所以这一节不排座次,只把各自的评测口径摆出来——读者要复现,缺的正是这些口径。

  • DeepSeek 侧(官方口径):2.25bpw 相对原模型的损失是困惑度 +7~8%、代码 +3.2~3.5%、agent 文本 +2.2~2.5%;2.00bpw 更大一些。官方两处文档的数字略有差异,完整表格见同日发布的《一张表看懂本地跑 DeepSeek V4.1 Flash》。
  • Qwen3.8 侧(本站实测,2026-10,24 GB 卡):MMLU-Pro 56.5%(200 题)、GSM8K 97.5%(40 题)、MATH-500 76.7%(30 题);15 项沙箱工具任务 15/15;同一份权重换量化档与内核标定,MMLU-Pro 会在 56.5%~60.0% 之间浮动(去审查的 Q4_K_M 档另有 63.5% 的记录),波动比换模型还大。
  • 为什么不做排名:跑分对 agent 的解释力有限——真实工具任务里体积差 5 倍的模型可以打平(本机 15 项任务 669.7 秒 对 674.4 秒),而上下文被截断一次,整轮工作就白做。

五、三个提醒

  • 274 GB 是「一套」的价格:三档量化全下要 533 GB。Engram 表每个词随机读几行,慢盘会拖慢每一个字,NVMe 不能省。
  • 内存决定档位,不是显卡:四卡机 48 tok/s 的前提是 172 GB 级专家驻在内存里;128 GB 会掉档,40 GB 以下是官方明说的「未测且慢」。
  • 什么时候该选 Qwen3.8:长材料、多轮工具调用、要视觉、要 60 tok/s 级的交互速度——262,144 的窗口默认就开着。什么时候 DeepSeek 才值:材料确实不能出域,且能接受 10–15 tok/s 与从 8K 起步的上下文。

机悟的读法

选本地 agent 引擎,顺序是「上下文 → 内存 → 速度」,不是反过来。

  • 先定上下文天花板:8K 与 256K 是两种用法,不是快慢差异。
  • 再看内存:DeepSeek 这一档考的是内存与盘,不是算力。
  • 24 GB 卡跑 DeepSeek 是「能跑」档(约 10–15 tok/s),跑 Qwen3.8 才是「能干活」档(62–76 tok/s)。
  • 真要私有化,先把评测集与复测脚本定下来,再决定买卡还是先用 API。

数据来源:Strata 官方仓库 v0.2.6 说明与文档(README.zh-CN.md、docs/DEEPSEEK41.md、packaging/ENGINE-COMPONENT.md,2026-10);DeepSeek-V4.1-Flash-1017 模型卡(ISTA-DASLab,552B、40 层 × 384 专家、取 6);DeepSeek 速度与质量数字均为官方公布口径(非本站测量),24 GB 单卡 10–15 tok/s 为本文方向性估算;Qwen3.8-Flash-Next(UD-IQ4_XS,93.7 GB)的速度、客观题与 15 项沙箱任务为本站实测(2026-10,RX 7900 XTX 24 GB + 125.6 GiB 内存,Strata 0.1.48 HIP,262,144 上下文),逐档数字与复测记录见同站《消费硬件上的本地大模型实测》。两套数据机器、引擎、量化与上下文口径不同,不可相加或互相替代。本文仅转述公开信息与自测数据,不评判任何企业与产品,不构成投资建议。

返回行业动态列表(共 127 条)→

你们的 agent,先看上下文还是先看速度?

我们按「要喂多长的材料、多少轮工具调用、盘和内存够不够」三件事帮你算一遍,再决定是上 DeepSeek 这条路、Qwen 这条路,还是先用 API。

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「一张表看懂本地 agent 选谁:DeepSeek 默认 8K 上下文,Qwen3.8 实测 256K 不掉速」,机悟 JAVIS,2026-10-27,https://jiwu.org.cn/news-2026-10-27-flash-agent-choice.html
Markdown:[一张表看懂本地 agent 选谁:DeepSeek 默认 8K 上下文,Qwen3.8 实测 256K 不掉速](https://jiwu.org.cn/news-2026-10-27-flash-agent-choice.html)(机悟 JAVIS,2026-10-27)