大家好，我是超哥。今天教大家在本地安装 Google 最新发布的 Gemma 4 12B 大模型。这是一款支持文本、图片和音频的多模态开源模型，不仅完全免费，而且 8GB 显存即可运行。整个安装过程非常简单，几分钟就能搞定。我们下面开始教程。
一、下载并安装 llama.cpp
下载地址：https://github.com/ggml-org/llama.cpp/releases
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。
二、下载 Gemma 4 12B 本地大模型
下载地址：https://huggingface.co/ggml-org/gemma-4-12B-it-GGUF/tree/main
下载到的大模型放到llama.ccp程序的根目录下的models目录里（需自行创建目录）
| 文件名 | 大小 | 推荐显存 | 说明 |
|---|---|---|---|
| gemma-4-12B-it-Q4_K_M.gguf | 7.38 GB | 8 GB+ | 推荐版本，速度与效果平衡 |
| gemma-4-12B-it-Q8_0.gguf | 12.7 GB | 16 GB+ | 精度更高，资源占用更大 |
| gemma-4-12B-it-bf16.gguf | 23.8 GB | 24 GB+ | 官方原版精度，效果最佳 |
| mmproj-gemma-4-12B-it-Q8_0.gguf | 159 MB | - | 对应 Q8 版本的多模态 |
| mmproj-gemma-4-12B-it-bf16.gguf | 175 MB | - | 对应 BF16 版本的多模态 |
三、配置启动 Gemma 4 12B 本地大模型
1. 创建启动脚本
@echo off chcp 65001 >nul title Gemma 4 启动器 rem 修改这里即可更换端口 set PORT=8085 :menu cls echo. echo ========================================== echo Gemma 4 智能启动菜单 echo ========================================== echo. echo 【纯文本模式】 echo. echo 1. 12B Q4_K_M [8GB显存左右] echo 2. 12B Q8_0 [12GB显存以上] echo 3. 12B BF16 [24GB显存以上] echo. echo 【多模态模式】 echo. echo 4. 12B Q4_K_M + 图片理解 [8GB显存左右] echo 5. 12B Q8_0 + 图片理解 [12GB显存以上] echo 6. 12B BF16 + 图片理解 [24GB显存以上] echo. echo 0. 退出 echo. set /p choice=请选择模式： if "%choice%"=="1" goto Q4 if "%choice%"=="2" goto Q8 if "%choice%"=="3" goto BF16 if "%choice%"=="4" goto MMQ4 if "%choice%"=="5" goto MMQ8 if "%choice%"=="6" goto MMBF16 if "%choice%"=="0" exit goto menu :Q4 cls echo 启动 Gemma 4 12B Q4_K_M... llama-server ^ -m models\gemma-4-12B-it-Q4_K_M.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :Q8 cls echo 启动 Gemma 4 12B Q8_0... llama-server ^ -m models\gemma-4-12B-it-Q8_0.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :BF16 cls echo 启动 Gemma 4 12B BF16... llama-server ^ -m models\gemma-4-12B-it-bf16.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :MMQ4 cls echo 启动 Gemma 4 12B Q4_K_M 多模态... llama-server ^ -m models\gemma-4-12B-it-Q4_K_M.gguf ^ --mmproj models\mmproj-gemma-4-12B-it-Q8_0.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :MMQ8 cls echo 启动 Gemma 4 12B Q8_0 多模态... llama-server ^ -m models\gemma-4-12B-it-Q8_0.gguf ^ --mmproj models\mmproj-gemma-4-12B-it-Q8_0.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :MMBF16 cls echo 启动 Gemma 4 12B BF16 多模态... llama-server ^ -m models\gemma-4-12B-it-bf16.gguf ^ --mmproj models\mmproj-gemma-4-12B-it-bf16.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% goto finish :finish echo. echo ========================================== echo 浏览器打开： echo [http://127.0.0.1:%PORT%](http://127.0.0.1:%PORT%) echo ========================================== echo. pause
2. 配置选择模型
四、模型测试
请编写一个高级版贪吃蛇游戏，要求： * 单文件 HTML 实现 * 支持手机和电脑 * 触摸滑动控制 * WASD 和方向键控制 * 暂停功能（空格键） * 音效系统 * 粒子特效 * 等级系统 * 随等级提升速度 * 障碍物生成 * 深色主题UI * LocalStorage最高分 * 响应式布局 * FPS优化 * 游戏结束动画 * 完整中文注释 请直接输出完整可运行代码，不要解释。
