大家好，我是超哥。Google 刚刚更新了 Gemma 4 12B，新增 QAT+MTP 技术，开启 MTP 后推理速度最高可提升将近 2 倍。本期视频带大家在本地部署最新的 Gemma 4 12B QAT+MTP 模型，无需 API、完全免费、支持离线运行。下面开始教程。
一、下载并安装 llama.cpp
下载地址：https://github.com/ggml-org/llama.cpp/releases
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。
二、下载 Gemma 4 12B QAT 本地大模型
下载地址：https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf/tree/main
要求：显卡显存要求6GB左右及以上
下载到的大模型（gemma-4-12b-it-qat-q4_0.gguf）和多模态文件（mmproj-gemma-4-12b-it-qat-q4_0.gguf）放到llama.ccp程序的根目录下的models目录里（需自行创建目录）
全部 gemma 4 QAT 版本列表：
https://huggingface.co/google/models
全部 gemma 4 MTP 版本列表：
https://huggingface.co/Janvitos
三、下载 Gemma 4 12B MTP 加速文件
下载地址：https://huggingface.co/Janvitos/gemma-4-12B-it-qat-assistant-MTP-Q8_0-GGUF/tree/main
下载到的大模型（gemma-4-12b-it-qat-q4_0.gguf）和多模态文件（mmproj-gemma-4-12b-it-qat-q4_0.gguf）放到llama.ccp程序的根目录下的models目录里（需自行创建目录）
四、配置启动 Gemma 4 12B QAT+MTP
创建启动脚本，命名成：启动.bat
@echo off chcp 65001 >nul title Gemma 4 12B Vision + MTP ::============================= :: 配置 ::============================= set PORT=8085 set MODEL=models\gemma-4-12b-it-qat-q4_0.gguf set MMPROJ=models\mmproj-gemma-4-12b-it-qat-q4_0.gguf set DRAFT=models\gemma-4-12B-it-qat-assistant-MTP-Q8_0.gguf set NGL=999 echo. echo =========================================== echo Gemma 4 12B Vision + MTP @X超哥 echo =========================================== echo. llama-server.exe ^ -m "%MODEL%" ^ --mmproj "%MMPROJ%" ^ --model-draft "%DRAFT%" ^ --spec-type draft-mtp ^ --spec-draft-n-max 4 ^ -ngl %NGL% ^ -fa on ^ --host 127.0.0.1 ^ --port %PORT% pause
访问控制面板 URL：
其它版本：创建启动脚本，命名成：启动.bat
@echo off chcp 65001 >nul title Gemma 4 12B Vision + MTP ::============================= :: 配置 ::============================= set PORT=8085 set MODEL=models\模型主文件（如：gemma-4-12b-it-qat-q4_0.gguf） set MMPROJ=models\多模态文件（如：mmproj-gemma-4-12b-it-qat-q4_0.gguf） set DRAFT=models\MTP加速文件（如：gemma-4-12B-it-qat-assistant-MTP-Q8_0.gguf） set NGL=999 echo. echo =========================================== echo Gemma 4 12B Vision + MTP @X超哥 echo =========================================== echo. llama-server.exe ^ -m "%MODEL%" ^ --mmproj "%MMPROJ%" ^ --model-draft "%DRAFT%" ^ --spec-type draft-mtp ^ --spec-draft-n-max 4 ^ -ngl %NGL% ^ -fa on ^ --host 127.0.0.1 ^ --port %PORT% pause
