Skip to content

部署本地模型 ​

MiniTavern 是 BYOK(自备密钥) 客户端:请求发往你配置的地址,不强制绑定某一家云厂商。
「部署本地模型」指在自己的电脑上跑推理服务,再用手机上的 MiniTavern 通过局域网连接。

本栏目分两条线:

类型用途入口
语言模型部署聊天、续写、转写生图 prompt30 分钟通关 · 工具总览
生图模型部署/imagine、附件生图、背景图生图概览

没有 GPU、也不想装服务时,可先用 免费云端 拿试用 / 免费额度。

MiniTavern 本身不在手机上跑大模型或扩散模型。服务跑在电脑上,App 只负责角色卡、世界书、聊天与生图请求。

语言模型部署 ​

在电脑上运行大语言模型(Ollama、LM Studio、KoboldCPP 等),App 里填 自定义(OpenAI 兼容)。

项目建议
电脑Windows / macOS / Linux;内存建议 16GB+
显卡(可选)NVIDIA / Apple Silicon 更快;纯 CPU 也能跑
网络手机与电脑同一 Wi‑Fi(勿用访客隔离网)
工具适合谁默认端口
Ollama命令行省事、一键拉模型11434
LM Studio图形界面、点选下载1234
KoboldCPP角色扮演社区常用5001
llama.cpp直接跑 GGUF8080
LocalAIDocker / 一站式兼容层8080
Jan · text-generation-webui其它图形或插件生态见各页

推荐顺序:30 分钟通关 → 工具总览 → 推荐模型 → 在 MiniTavern 中配置 → 卡住查 排错。

生图模型部署 ​

在电脑上跑 Stable Diffusion 系服务,App 设置 → 生图 → 生图连接 选 A1111 或 ComfyUI。

后端默认端口教程
A1111 / SD WebUI7860需 --api --listen
ComfyUI8188(Desktop 常见 8000)需 --listen

总览与硬件说明见 生图模型部署;填连接见 连 App。

重要提醒 ​

  • 手机里填的地址必须是电脑的 局域网 IP,不要填 localhost / 127.0.0.1。
  • 语言模型 Base URL 通常以 /v1 结尾(如 http://192.168.1.8:11434/v1)。
  • 生图 A1111 必须开 --api;ComfyUI 必须能局域网访问。
  • 防火墙放行对应端口;勿把未鉴权 API 暴露到公网。