行业动态 › 正文

2026-10-29本地实测 · 真实负载

同一模型三档量化一周实测:最快 67.9 tok/s、最慢 40.9 tok/s

这不是跑分,是一台机器干活一周的总账:10 月 22—29 日,同一个 Qwen3.8-Flash-Next 在单张 RX 7900 XTX 上轮流换三档量化,跑完 6,000 条请求——读进 3.5 亿词元、写出只有 384 万,读过的内容 89.5% 不用重讲。换档与换长短各影响速度多少?最快的一档 67.9 tok/s、最慢的一档 40.9 tok/s,但没一档掉出能干活的区间。

一、这一周的账本:读 90 个字,写 1 个字

智能体干活时,词元的大头永远是「读」。下面每一个数都来自引擎日志里的服务端记录(23:06 前的快照;默认档的会话此刻还在跑,数字会继续微涨):

  • 62 场会话、6,000 条请求读进 350,086,987 个词元、写出只有 3,844,006 个——读写比约 91:1;最长的一条请求一次喂进 248,983 个词元,没有 OOM
  • 读进去的内容里 89.5% 命中前缀缓存、第二遍不用重算;三档的 MTP 草稿接受率 80.4%–83.3%,吐出来的字基本一步到位
  • 一周里引擎从 0.1.40 升到 0.1.48,档位随任务切换——本篇只报日志里的事实,不给版本号归因提速
  • 速度只统计写出 ≥80 词元的请求的中位数;14 条中途取消的预填不进任何表

「像不像在线模型」的机制三件套(MoE 值班制、前缀命中、草稿核对),更早发布的智能体负载一篇已经拆过;本篇补的是它们在整周日程上的总账表现。

二、一档一行:谁接住了哪段活

主表。四列全部来自同一份日志(体积为文件字节数、十进制 GB)。在场时间:默认档全程(10-22→10-29),选型验证档 10-22→10-28,重载档 10-23 一天——三档共用同一套引擎与工具链,换档只换权重文件。

档位
权重体积
本周负载
场次·请求
读写词元
一周合计
前缀命中
草稿接受率
Q4_K_M
119.2 GB
40 场
3,821 条
读 2.35 亿
写 245 万
92.3%
接受率 80.9%
UD-IQ4_XS
93.7 GB
17 场
1,691 条
读 9,817 万
写 98 万
85.7%
接受率 80.4%
Q5_K_M
134.1 GB
5 场
488 条
读 1,740 万
写 41 万
73.2%
接受率 83.3%

三行连起来读:三档共用同一套引擎与工具链,换档只换权重文件——但同一负载下,谁体积最小谁就最快,这个顺序在六行负载上没换过一次位置。换档这根杠杆有多大,下一张表给数。

三、速度表:竖向是任务变长,横向是换档

同一张表两个读法——竖着读是「同一档,会话越挂越长」,横着读是「同一负载,换不换档」:

提示长度
词元
Q4_K_M
中位 tok/s · 样本
UD-IQ4_XS
中位 tok/s · 样本
Q5_K_M
中位 tok/s · 样本
<8K54.9
471 条
67.9
246 条
45.3
3 条
8K–16K52.2
7 条
57.8
22 条
45.5
1 条
16K–32K49.7
97 条
59.5
137 条
40.9
22 条
32K–64K47.6
538 条
55.5
300 条
44.0
99 条
64K–96K46.2
408 条
54.3
229 条
42.4
130 条
96K+45.9
1,090 条
52.1
411 条
未取样

竖向:从最短负载到最长负载,三档各自最多降 23.3%(UD-IQ4_XS 档)、默认档只降 16.4%——上下文吃掉的是零头。横向:同一行三档差最大 22.6 tok/s(<8K 那一行,且 Q5_K_M 档在该行只有 3 条样本)——换档才是影响体感的那一根杠杆。

四、三条提醒

  • 这些是「这台机器这周被怎么用」的数字,不是模型得分:89.5% 命中是多轮智能体会话的影子,一问一答、每次全新长文档的用法吃不到这个便宜
  • 三套口径互不换算:本篇=真实负载中位;站内另有定长扫描(1k→256k)与沙箱任务两套数字,不可相加、不可互推
  • 能力排名本篇没做:MMLU-Pro/GSM8K 等客观题成绩见更早发布的两篇,别从本表的快慢推能力强弱

机悟的建议:挑档之前,先量自己的一周账本

别抄任何人的数字,包括这一页的。顺序是:

  • 先量负载形态拿自己业务的真任务连跑一周,读写比、命中率、提示长度分布三件事定下来,才知道 40 和 68 的差距跟你有没有关系
  • 再固定口径机型、引擎、量化、上下文四个变量同档才可比——换任何一个,数字都要重测
  • 看中位不看峰值给验收用的那一行必须带口径;峰值外推满负载,等于自己给自己埋雷
  • 留人复核速度和命中率都能复跑,交付的那一版还是要人看

数据来源:自有设备真实负载记录(2026-10-22 00:00 至 10-29 23:06):Strata 引擎会话日志 strata-unc-q4km.log、strata-unsloth-ud-iq4_xs.log、strata-unc-q5km.log(HIP 后端,引擎 0.1.40→0.1.48,上下文窗口 262,144);权重体积为 gguf 文件字节数(十进制 GB)。机器:i7-14700F + 单张 RX 7900 XTX 24 GB + 125.6 GiB 内存(UOS 25)。速度列为真实负载下写出 ≥80 词元请求的服务端中位,与站内定长扫描、沙箱任务两套口径互不换算;本篇未做客观题与工具任务评测,不作能力排名。本文仅陈述自测数据与公开技术口径,不评判任何企业与产品,不构成投资建议。

返回行业动态列表(共 127 条)→

想先量出自己机器的那张账本?

这一页每一行都带着体积、引擎与口径——抄走的数字一旦离开口径就变味。40 分钟评估把你的真实会话接进沙箱,读写比、命中率与解码中位按你自己的负载出一版,复测脚本与判分留给你。

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「同一模型三档量化一周实测:最快 67.9 tok/s、最慢 40.9 tok/s」,机悟 JAVIS,2026-10-29,https://jiwu.org.cn/news-2026-10-29-flash-next-three-tiers-week.html
Markdown:[同一模型三档量化一周实测:最快 67.9 tok/s、最慢 40.9 tok/s](https://jiwu.org.cn/news-2026-10-29-flash-next-three-tiers-week.html)(机悟 JAVIS,2026-10-29)