行业动态 › 正文
2026-10-29本地实测 · 真实负载这不是跑分,是一台机器干活一周的总账:10 月 22—29 日,同一个 Qwen3.8-Flash-Next 在单张 RX 7900 XTX 上轮流换三档量化,跑完 6,000 条请求——读进 3.5 亿词元、写出只有 384 万,读过的内容 89.5% 不用重讲。换档与换长短各影响速度多少?最快的一档 67.9 tok/s、最慢的一档 40.9 tok/s,但没一档掉出能干活的区间。
智能体干活时,词元的大头永远是「读」。下面每一个数都来自引擎日志里的服务端记录(23:06 前的快照;默认档的会话此刻还在跑,数字会继续微涨):
「像不像在线模型」的机制三件套(MoE 值班制、前缀命中、草稿核对),更早发布的智能体负载一篇已经拆过;本篇补的是它们在整周日程上的总账表现。
主表。四列全部来自同一份日志(体积为文件字节数、十进制 GB)。在场时间:默认档全程(10-22→10-29),选型验证档 10-22→10-28,重载档 10-23 一天——三档共用同一套引擎与工具链,换档只换权重文件。
| 档位 权重体积 | 本周负载 场次·请求 | 读写词元 一周合计 | 前缀命中 草稿接受率 |
|---|---|---|---|
| Q4_K_M 119.2 GB | 40 场 3,821 条 | 读 2.35 亿 写 245 万 | 92.3% 接受率 80.9% |
| UD-IQ4_XS 93.7 GB | 17 场 1,691 条 | 读 9,817 万 写 98 万 | 85.7% 接受率 80.4% |
| Q5_K_M 134.1 GB | 5 场 488 条 | 读 1,740 万 写 41 万 | 73.2% 接受率 83.3% |
三行连起来读:三档共用同一套引擎与工具链,换档只换权重文件——但同一负载下,谁体积最小谁就最快,这个顺序在六行负载上没换过一次位置。换档这根杠杆有多大,下一张表给数。
同一张表两个读法——竖着读是「同一档,会话越挂越长」,横着读是「同一负载,换不换档」:
| 提示长度 词元 | Q4_K_M 中位 tok/s · 样本 | UD-IQ4_XS 中位 tok/s · 样本 | Q5_K_M 中位 tok/s · 样本 |
|---|---|---|---|
| <8K | 54.9 471 条 | 67.9 246 条 | 45.3 3 条 |
| 8K–16K | 52.2 7 条 | 57.8 22 条 | 45.5 1 条 |
| 16K–32K | 49.7 97 条 | 59.5 137 条 | 40.9 22 条 |
| 32K–64K | 47.6 538 条 | 55.5 300 条 | 44.0 99 条 |
| 64K–96K | 46.2 408 条 | 54.3 229 条 | 42.4 130 条 |
| 96K+ | 45.9 1,090 条 | 52.1 411 条 | 未取样 |
竖向:从最短负载到最长负载,三档各自最多降 23.3%(UD-IQ4_XS 档)、默认档只降 16.4%——上下文吃掉的是零头。横向:同一行三档差最大 22.6 tok/s(<8K 那一行,且 Q5_K_M 档在该行只有 3 条样本)——换档才是影响体感的那一根杠杆。
别抄任何人的数字,包括这一页的。顺序是:
数据来源:自有设备真实负载记录(2026-10-22 00:00 至 10-29 23:06):Strata 引擎会话日志 strata-unc-q4km.log、strata-unsloth-ud-iq4_xs.log、strata-unc-q5km.log(HIP 后端,引擎 0.1.40→0.1.48,上下文窗口 262,144);权重体积为 gguf 文件字节数(十进制 GB)。机器:i7-14700F + 单张 RX 7900 XTX 24 GB + 125.6 GiB 内存(UOS 25)。速度列为真实负载下写出 ≥80 词元请求的服务端中位,与站内定长扫描、沙箱任务两套口径互不换算;本篇未做客观题与工具任务评测,不作能力排名。本文仅陈述自测数据与公开技术口径,不评判任何企业与产品,不构成投资建议。
这一页每一行都带着体积、引擎与口径——抄走的数字一旦离开口径就变味。40 分钟评估把你的真实会话接进沙箱,读写比、命中率与解码中位按你自己的负载出一版,复测脚本与判分留给你。
[同一模型三档量化一周实测:最快 67.9 tok/s、最慢 40.9 tok/s](https://jiwu.org.cn/news-2026-10-29-flash-next-three-tiers-week.html)(机悟 JAVIS,2026-10-29)选一条最费人的流程,看看现有设备能跑什么、要补什么、怎么验——提交后 1 个工作日内联系您;也可以直接加下方企业微信,对接更快。
工作人员将在 1 个工作日内与您联系。急事请直接扫码加企业微信,备注「单位 + 需求」。
加企业微信更快对接