大家好,我是超哥。这一期教大家在本地部署 Google 的 Gemma 4 26B 越狱破解版第二版大模型。对比第一版,第二版不仅完全解除审查限制,还针对聊天能力、代码能力和响应速度作了进一步优化。本教程基于 llama.cpp 部署,无需 API、完全免费、支持离线运行,安装过程非常简单。下面开始教程。
要求:显卡显存要求16GB左右及以上。

一、下载并安装 llama.cpp
下载地址:https://github.com/ggml-org/llama.cpp/releases

| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意:显卡用户别忘了下载下图主程序后面的DLLs文件,下载后把里面的内容解压到llama.ccp主程序的根目录里,不然无法使用显卡运行模型。

二、下载 Gemma 4 26B 越狱版本地大模型
下载地址:https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-gguf-v2
要求:显卡显存要求16GB左右及以上
下载到的大模型放到llama.ccp程序的根目录下的models目录里(需自行创建目录)

三、配置启动 Gemma 4 26B 本地大模型
创建启动脚本,命名成:启动.bat
@echo off chcp 65001 >nul title SuperGemma4 26B 启动器 set PORT=8085 echo. echo ========================================== echo 启动 SuperGemma4 26B... echo ========================================== echo. llama-server ^ -m models\supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf ^ -ngl 999 ^ -c 32768 ^ --host 127.0.0.1 ^ --port %PORT% echo. echo ========================================== echo 浏览器打开: echo http://127.0.0.1:%PORT% echo ========================================== echo. pause
访问控制面板 URL: