部署本地模型
MiniTavern 是 BYOK(自備金鑰) 客戶端:請求發往你設定的位址,不強制綁定某一家雲廠商。
「部署本地模型」指在自己的電腦上跑推理服務,再用手機上的 MiniTavern 透過區域網連線。
本欄目分兩條線:
| 類型 | 用途 | 入口 |
|---|---|---|
| 語言模型部署 | 聊天、續寫、轉寫生圖 prompt | 30 分鐘通關 · 工具總覽 |
| 生圖模型部署 | /imagine、附件生圖、背景圖 | 生圖概覽 |
沒有 GPU、也不想裝服務時,可先用 免費雲端 拿試用/免費額度。
MiniTavern 本身不在手機上跑大模型或擴散模型。服務跑在電腦上,App 只負責角色卡、世界書、聊天與生圖請求。
語言模型部署
在電腦上運行大語言模型(Ollama、LM Studio、KoboldCPP 等),App 裡填 自訂 (OpenAI)。
| 項目 | 建議 |
|---|---|
| 電腦 | Windows/macOS/Linux;記憶體建議 16GB+ |
| 顯示卡(可選) | NVIDIA/Apple Silicon 更快;純 CPU 也能跑 |
| 網路 | 手機與電腦同一 Wi‑Fi(勿用訪客隔離網) |
| 工具 | 適合誰 | 預設連接埠 |
|---|---|---|
| Ollama | 命令列省事、一鍵拉模型 | 11434 |
| LM Studio | 圖形介面、點選下載 | 1234 |
| KoboldCPP | 角色扮演社群常用 | 5001 |
| llama.cpp | 直接跑 GGUF | 8080 |
| LocalAI | Docker/一站式相容層 | 8080 |
| Jan · text-generation-webui | 其它圖形或外掛生態 | 見各頁 |
推薦順序:30 分鐘通關 → 工具總覽 → 推薦模型 → 在 MiniTavern 中設定 → 卡住查 排錯。
生圖模型部署
在電腦上跑 Stable Diffusion 系服務,App 設定 → 生圖 → 生圖連線 選 A1111 或 ComfyUI。
| 後端 | 預設連接埠 | 教學 |
|---|---|---|
| A1111/SD WebUI | 7860 | 需 --api --listen |
| ComfyUI | 8188(Desktop 常見 8000) | 需 --listen |
重要提醒
- 手機裡填的位址必須是電腦的 區域網 IP,不要填
localhost/127.0.0.1。 - 語言模型 Base URL 通常以
/v1結尾(如http://192.168.1.8:11434/v1)。 - 生圖 A1111 必須開
--api;ComfyUI 必須能區域網存取。 - 防火牆放行對應連接埠;勿把未鑑權 API 暴露到公網。