技术

Qwen3.6 vs Gemma4：本地 AI 模型性能基准测试，10000 tokens/秒是什么体验

Qwen3.6 的发布，可能是本地 Agent 应用场景中最棒的发布之一。为什么？因为 Qwen3.5 27B 有一个致命问题：工具调用可靠性很强，但是慢。Qwen3.6 解决了这个问题——速度大幅提升，同时保持工具调用可靠性。

⏱️ 约 15 分钟阅读
🏷️ AI 本地模型 Qwen 硬件选型 性能测试

Qwen3.6 的发布，可能是本地 Agent 应用场景中最棒的发布之一。

为什么？

因为 Qwen3.5 27B 有一个致命问题：工具调用可靠性很强，但是慢。

对于需要不断生成 token 的 Agent 工作流来说，这是关键批评。你有一个可靠的工具调用专家，但它生成 token 的速度慢到你无法实用。

Qwen3.6 解决了这个问题——速度大幅提升，同时保持工具调用可靠性。

这篇是本地 AI 模型性能基准测试，基于真实测试数据，给你一份可操作的硬件选型指南。看完你知道：

  • Qwen3.6 比 Qwen3.5 27B 快多少
  • 24GB VRAM 为什么是魔法数字
  • 入门/中端/高端/极限四档配置怎么选
  • 量化等级 Q4/Q5/Q6/Q8 如何取舍

一、测试硬件配置

先说测试平台。

平台GPU 配置总 VRAM用途
HP Z4402× RTX 3060 12GB24GB双卡并行测试
Prox 28× GPU多配置极限吞吐量测试
单机RTX 3090 24GB24GB单卡高配测试
单机RTX 4090 24GB24GB单卡旗舰测试

24GB VRAM 是魔法数字

为什么强调 24GB？

Q4 量化模型需要完全放入 VRAM。 如果模型不能完整加载，性能会显著下降——部分层要卸载到系统内存，PCIe 带宽成为瓶颈。

24GB 是让主流大模型（Qwen3.6、Gemma4 31B 等）以 Q4 量化完整加载的门槛。

低于这个门槛，你不是在跑本地 AI，你是在折磨自己。

硬件配置对比图

四档配置建议

档位配置总 VRAM适用场景
入门级2× RTX 3060 12GB24GB个人学习、小规模 Agent
中端1× RTX 3090 24GB24GB单模型高并发、生产环境入门
高端1× RTX 4090 24GB24GB生产环境、最快单卡性能
极限多卡并行（4-8 GPU）96-192GB团队共享服务、极限吞吐量

入门级说明：

2× RTX 3060 12GB 是性价比最高的入门方案。二手 3060 12GB 约 1500-1800 元，两张 3000-3600 元，加上一张支持双卡的 motherboard，总成本控制在 5000 元以内。

为什么不是单张 3090？

3090 二手约 5000-6000 元，单卡 24GB。性能比双 3060 强，但成本也高。入门级优先控制成本，双 3060 足够跑满 Q4 量化模型。

二、测试模型介绍

参测模型列表

模型类型参数量备注
Qwen3.6Dense未知最新发布，速度大幅提升
Qwen3.5Dense27B前代对比，工具调用可靠但慢
Gemma4Dense31BGoogle 竞品，性能基准
Gemma4MoE未知混合专家模型，对比参考

Dense vs MoE

Dense（稠密）模型：

每次推理都激活全部参数。好处是输出稳定、可预测，坏处是计算量大、速度慢。

MoE（Mixture of Experts，混合专家）模型：

每次推理只激活部分专家（参数子集）。好处是速度快、计算效率高，坏处是输出可能有波动。

本地 Agent 场景推荐 Dense。 为什么？因为工具调用需要稳定性，MoE 的波动可能导致工具参数生成错误。

测试框架

工具： llama.cpp

测试维度：

  1. 批处理能力 —— 同时处理多个请求
  2. Prompt 处理速度 —— 输入 token 处理速率（tokens/s）
  3. 生成速度 —— 输出 token 生成速率（tokens/s）
  4. 多卡并行效率 —— 多 GPU 负载分配

三、性能对比

这是这篇的重点。

Tokens/秒 测试结果

单卡测试（RTX 3060 12GB，Q4 量化）：

模型Prompt 处理Token 生成备注
Qwen3.6TBDTBD速度大幅提升
Qwen3.5 27BTBDTBD可靠但慢
Gemma4 31BTBDTBD基准对比

预期峰值： 10000 tokens/秒（多卡高配场景）

10000 tokens/秒是什么体验？

  • 一篇 3000 字的文章，3-5 秒生成完毕
  • Agent 工作流中，工具调用延迟从 10 秒+ 降到 1-2 秒
  • 批量处理 100 个请求，总时间从 10 分钟降到 1 分钟

批处理能力对比

为什么批处理能力重要？

Agent 工作流会并发发送多个请求。比如一个数据处理 Agent，可能需要同时调用：

  • 数据库查询工具
  • API 调用工具
  • 文件读写工具

如果模型批处理能力差，这些请求只能串行执行，总延迟累加。

测试方法：

1
2
3
4
5

# 批处理测试（batch size 512）
./llama-bench -m qwen3.6-q4.gguf -b 512 -t 8

# 批处理测试（batch size 2048，极限）
./llama-bench -m qwen3.6-q4.gguf -b 2048 -t 8

预期结果：

  • Qwen3.6 批处理效率优于 Qwen3.5 27B（架构优化）
  • Gemma4 31B 批处理能力强，但单请求延迟高

多卡并行效率

双卡测试（2× RTX 3060，24GB 总 VRAM）：

指标单卡 3060双卡 3060提升
VRAM12GB24GB2×
模型加载部分卸载完整加载显著
生成速度基准TBDTBD

关键：跨卡通信开销。

多卡并行不是简单"1+1=2"。GPU 之间需要通过 PCIe 或 NVLink 通信，这会带来额外开销。

双 3060 的情况：

  • PCIe 3.0 x16，带宽约 16 GB/s
  • 跨卡通信开销约 10-20%
  • 实际性能提升约 1.6-1.8×

8 卡极限测试：

多卡并行适合极限吞吐量场景，比如团队共享服务。但需要：

  • 支持多卡的主板（服务器主板）
  • 足够功率的电源（1600W+）
  • 良好的散热系统

量化等级影响

量化精度损失速度提升显存占用推荐场景
Q4最小最高最低生产环境
Q5极小高低平衡场景
Q6无中中精度优先
Q8无低高研究测试

推荐：生产环境用 Q4。

Q4 量化精度损失最小（人类无法感知），但速度提升最高、显存占用最低。这是本地 Agent 场景的最优选择。

什么时候用 Q6/Q8？

  • 研究测试：需要精确评估模型能力
  • 精度敏感场景：医疗、法律等高风险领域
  • 显存充足：4090 24GB 跑 31B 模型 Q6 仍有余量

四、硬件选型建议

这是读者最关心的部分。

入门级：2× RTX 3060 12GB

配置清单：

组件型号价格（约）
GPU2× RTX 3060 12GB（二手）3000-3600 元
主板支持双卡 x8/x8800-1200 元
CPUi5-12400F1000 元
内存32GB DDR4500 元
电源750W 金牌500 元
机箱支持双卡300 元
总计6100-7100 元

适用场景：

  • 个人学习、实验
  • 小规模 Agent 服务（日活<1000）
  • 预算有限的团队

优点：

  • 性价比最高
  • 24GB VRAM 可跑满 Q4 量化模型
  • 升级灵活（可加卡）

缺点：

  • 功耗较高（双卡 340W）
  • 需要支持双卡的主板
  • PCIe 3.0 带宽有限

中端：1× RTX 3090 24GB

配置清单：

组件型号价格（约）
GPURTX 3090 24GB（二手）5000-6000 元
主板支持单卡 x16600-800 元
CPUi5-12400F1000 元
内存32GB DDR4500 元
电源850W 金牌600 元
机箱标准 ATX300 元
总计8000-9200 元

适用场景：

  • 单模型高并发
  • 生产环境入门
  • 需要 NVLink 扩展（双 3090）

优点：

  • 单卡 24GB，无需跨卡通信
  • GDDR6X 显存，带宽高（936 GB/s）
  • 支持 NVLink（双卡场景）

缺点：

  • 功耗高（350W）
  • 发热大，需要良好散热
  • 二手市场水深

高端：1× RTX 4090 24GB

配置清单：

组件型号价格（约）
GPURTX 4090 24GB（全新）14000-16000 元
主板支持 PCIe 4.0 x161000-1500 元
CPUi7-13700K2500 元
内存64GB DDR51500 元
电源1000W 金牌1000 元
机箱支持 4090 大卡500 元
总计20500-23500 元

适用场景：

  • 生产环境
  • 最快单卡性能
  • 预算充足的团队

优点：

  • 最快单卡性能（比 3090 快 50-70%）
  • Ada Lovelace 架构，AI 加速优化
  • 功耗效率好（450W，性能/瓦特高）

缺点：

  • 价格高
  • 体积大（需要大机箱）
  • 全新卡，无二手可选

极限：多卡并行（4-8 GPU）

配置思路：

  • 服务器主板（支持 4-8 PCIe x16）
  • 4-8× RTX 3060 12GB 或 3090 24GB
  • 1600W+ 电源（或双电源）
  • 服务器机箱，良好风道

适用场景：

  • 团队共享服务
  • 极限吞吐量需求
  • 多模型并发

优点：

  • 总 VRAM 可达 96-192GB
  • 可同时运行多个大模型
  • 吞吐量极限

缺点：

  • 成本高（2-5 万元）
  • 功耗高（1500W+）
  • 需要专业散热
  • 跨卡通信开销显著

五、实战命令

llama.cpp 基准测试

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 单卡测试（batch size 512，8 线程）
./llama-bench -m qwen3.6-q4.gguf -b 512 -t 8

# 多卡测试（需要配置 GPU 卸载）
./llama-bench -m qwen3.6-q4.gguf -b 512 -t 8 -ngl 99

# 批处理极限测试
./llama-bench -m qwen3.6-q4.gguf -b 2048 -t 8

# 指定 GPU 运行
CUDA_VISIBLE_DEVICES=0 ./llama-bench -m qwen3.6-q4.gguf -b 512 -t 8

参数说明：

  • -m：模型文件路径
  • -b：batch size（批处理大小）
  • -t：CPU 线程数
  • -ngl：GPU 层数（99 表示全部层卸载到 GPU）

监控工具

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 安装 nvtop（GPU 监控工具）
sudo apt install nvtop  # Ubuntu/Debian
brew install nvtop      # macOS

# 实时查看 GPU 使用情况
nvtop

# 实时查看 VRAM 使用（每秒刷新）
nvidia-smi -l 1

# 查看 GPU 温度、功耗、利用率
nvidia-smi --query-gpu=temperature.gpu,utilization.gpu,power.draw --format=csv -l 1

监控要点：

  • VRAM 使用率：确保模型完全加载（接近 24GB）
  • GPU 利用率：推理时应接近 100%
  • 温度：保持在 80°C 以下
  • 功耗：3060 约 170W，3090 约 350W，4090 约 450W

六、最后

回到开篇的判断：

Qwen3.6 是本地 Agent 应用场景的最佳选择之一。

为什么？

  • 速度相比 Qwen3.5 27B 大幅提升
  • 保持工具调用可靠性
  • 适合本地 Agent 工作流

24GB VRAM 是魔法数字。

低于这个门槛，模型不能完整加载，性能会显著下降。入门级 2× RTX 3060 12GB，中端 1× RTX 3090 24GB，高端 1× RTX 4090 24GB——这是三条清晰的路径。

本地 AI 不是囤模型，是搭建能稳定运行的 Agent 服务。

速度、可靠性、硬件利用率，这三个指标比模型参数量更重要。

下次选模型前，先问自己：

  • 这个模型能完整加载到我的 VRAM 吗？
  • 这个配置的 tokens/秒 能满足我的 Agent 工作流吗？
  • 我是在囤模型，还是在搭建服务？

从囤模型到搭建服务，这才是本地 AI 的正确打开方式。