部署本地模型
MiniTavern 是 BYOK(自备密钥) 客户端:请求发往你配置的地址,不强制绑定某一家云厂商。
「部署本地模型」指在自己的电脑上跑推理服务,再用手机上的 MiniTavern 通过局域网连接。
本栏目分两条线:
| 类型 | 用途 | 入口 |
|---|---|---|
| 语言模型部署 | 聊天、续写、转写生图 prompt | 30 分钟通关 · 工具总览 |
| 生图模型部署 | /imagine、附件生图、背景图 | 生图概览 |
没有 GPU、也不想装服务时,可先用 免费云端 拿试用 / 免费额度。
MiniTavern 本身不在手机上跑大模型或扩散模型。服务跑在电脑上,App 只负责角色卡、世界书、聊天与生图请求。
语言模型部署
在电脑上运行大语言模型(Ollama、LM Studio、KoboldCPP 等),App 里填 自定义(OpenAI 兼容)。
| 项目 | 建议 |
|---|---|
| 电脑 | Windows / macOS / Linux;内存建议 16GB+ |
| 显卡(可选) | NVIDIA / Apple Silicon 更快;纯 CPU 也能跑 |
| 网络 | 手机与电脑同一 Wi‑Fi(勿用访客隔离网) |
| 工具 | 适合谁 | 默认端口 |
|---|---|---|
| Ollama | 命令行省事、一键拉模型 | 11434 |
| LM Studio | 图形界面、点选下载 | 1234 |
| KoboldCPP | 角色扮演社区常用 | 5001 |
| llama.cpp | 直接跑 GGUF | 8080 |
| LocalAI | Docker / 一站式兼容层 | 8080 |
| Jan · text-generation-webui | 其它图形或插件生态 | 见各页 |
推荐顺序:30 分钟通关 → 工具总览 → 推荐模型 → 在 MiniTavern 中配置 → 卡住查 排错。
生图模型部署
在电脑上跑 Stable Diffusion 系服务,App 设置 → 生图 → 生图连接 选 A1111 或 ComfyUI。
| 后端 | 默认端口 | 教程 |
|---|---|---|
| A1111 / SD WebUI | 7860 | 需 --api --listen |
| ComfyUI | 8188(Desktop 常见 8000) | 需 --listen |
重要提醒
- 手机里填的地址必须是电脑的 局域网 IP,不要填
localhost/127.0.0.1。 - 语言模型 Base URL 通常以
/v1结尾(如http://192.168.1.8:11434/v1)。 - 生图 A1111 必须开
--api;ComfyUI 必须能局域网访问。 - 防火墙放行对应端口;勿把未鉴权 API 暴露到公网。