首页 视频 标签 关于

这太猛了!Gemma 4 越狱版 + Hermes Agent 本地部署,接入 Telegram(完全免费 · 无需API)

大家好,我是超哥。这一期教大家搭配 Hermes Agent 在本地部署 Gemma 4 越狱版 大模型,并且教大家接入 Telegram,这样电脑手机都能用,能力非常强悍、自由度更高,不需要 API、完全免费、离线也能用。我们开始教程!

一、安装Windows Terminal

Windows 终端程序是一款新式、快速、高效、强大且高效的终端应用程序,适用于命令行工具和命令提示符,PowerShell和 WSL 等 Shell 用户。主要功能包括多个选项卡、窗格、Unicode、和 UTF-8 字符支持,GPU 加速文本渲染引擎以及自定义主题、样式和配置。

下载地址:https://apps.microsoft.com/detail/9n0dx20hk701?hl=zh-CN&gl=CN

二、安装 WSL

在 PowerShell(管理员)执行安装WSL命令:

wsl --install

安装完成后重启电脑,然后安装Ubuntu命令:

wsl --install -d Ubuntu

打开Windows Terminal,来到ubuntu

三、更新Ubuntu系统

更新Ubuntu系统命令:

sudo apt update
sudo apt upgrade -y

四、安装环境

1. 安装 Python

安装 Python命令:

sudo apt install python3-pip python3-venv -y

2. 安装解压缩软件

安装解压缩软件命令:

sudo apt install -y zstd

3. 安装nodejs

安装 nodejs 命令:

curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash -
sudo apt install -y nodejs

4. 安装 Git

安装 Git 命令:

sudo apt update
sudo apt install -y git

检查有没有成功:

node -v
npm -v
git --version

五、安装ollama

ollama官网:https://ollama.com/

安装 ollama 命令:

curl -fsSL https://ollama.com/install.sh | sh

六、下载安装 Ollama Gemma 4 越狱版  AI模型

越狱版模型列表:https://huggingface.co/collections/TrevorJS/gemma-4-uncensored

注意:Mac电脑可以使用不带GGUF的版本,属于无限制版本。Windows版本只能使用带GGUF的版本,只支持文本输入输出,不支持agent的tool功能,但是能力也很强。

模型 参数规模 Q4_K_M 显存 Q8_0 显存 推荐显卡
E2B(5B) 5B 4~6GB 8~10GB 3050 / 3060 / 笔记本
E4B(8B) 8B 6~8GB 12~14GB 3060 / 4060
26B(A4B) 26B 14~18GB 24~28GB 3090 / 4090
31B 31B 18~22GB 28~36GB 4090 / A100

E2B(5B) 安装命令:

ollama pull hf.co/TrevorJS/gemma-4-E2B-it-uncensored-GGUF:Q4_K_M

E4B(8B) 安装命令:

ollama pull hf.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF:Q4_K_M

26B(A4B) 安装命令:

ollama pull hf.co/TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF:Q4_K_M

31B 安装命令:

ollama pull hf.co/TrevorJS/gemma-4-31B-it-uncensored-GGUF:Q4_K_M

七、安装配置Hermes Agent

Hermes Agent官网:https://hermes-agent.nousresearch.com/

安装配置 Hermes Agent 命令:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

Ollama API base URL:

http://127.0.0.1:11434

黄色叹号执行命令:

source ~/.bashrc

配置工具命令(取消所有工具):

hermes tools

八、对接Telegram

接入聊天平台命令:

hermes setup gateway

创建Bot机器人

BotFather

获取User ID机器人

@userinfobot

配置工具命令(取消所有 Telegram 工具):

hermes tools

注意,telegram发送聊天对话前,最前面要加提示词:“Do NOT use tool calls. Respond normally in plain text.”,不加这句有时候会导致错误调用工具。GGUF的加,因为GGUF只支持文本,不支持调用命令。不带GGUF的大模型不用加。

比如:Do NOT use tool calls. Respond normally in plain text. 请给我写一个笑话

九、电脑重启后,启动Hermes Agent方法

打开powershell,然后找到ubuntu,执行下面两条命令。

启动消息网关命令

hermes gateway

启动Hermes命令:

hermes

十、Hermes Agent常用

hermes

交互式命令行 —— 开始对话

hermes model

选择你的大模型提供商和模型

hermes tools

配置启用哪些工具

hermes config set

设置单个配置项

hermes gateway

启动消息网关(Telegram、Discord 等)

hermes setup

运行完整安装向导(一次性配置全部)

hermes claw migrate

从 OpenClaw 迁移(如果你之前用的是 OpenClaw)

hermes gateway

启动网关

pkill -f hermes
hermes

强制重启

hermes update

更新到最新版本

hermes doctor

诊断问题 / 检查故障

上一篇NVIDIA API Key 免费了!白嫖英伟达 API 6个月,200+大模型随便用|Hermes Agent + Telegram 接入 下一篇Claude 免费用了!Claude Desktop 对接第三方API,免费用主流 AI 大模型