Skip to content

部署本地模型 ​

MiniTavern 是 BYOK(自備金鑰) 客戶端:請求發往你設定的位址,不強制綁定某一家雲廠商。
「部署本地模型」指在自己的電腦上跑推理服務,再用手機上的 MiniTavern 透過區域網連線。

本欄目分兩條線:

類型用途入口
語言模型部署聊天、續寫、轉寫生圖 prompt30 分鐘通關 · 工具總覽
生圖模型部署/imagine、附件生圖、背景圖生圖概覽

沒有 GPU、也不想裝服務時,可先用 免費雲端 拿試用/免費額度。

MiniTavern 本身不在手機上跑大模型或擴散模型。服務跑在電腦上,App 只負責角色卡、世界書、聊天與生圖請求。

語言模型部署 ​

在電腦上運行大語言模型(Ollama、LM Studio、KoboldCPP 等),App 裡填 自訂 (OpenAI)。

項目建議
電腦Windows/macOS/Linux;記憶體建議 16GB+
顯示卡(可選)NVIDIA/Apple Silicon 更快;純 CPU 也能跑
網路手機與電腦同一 Wi‑Fi(勿用訪客隔離網)
工具適合誰預設連接埠
Ollama命令列省事、一鍵拉模型11434
LM Studio圖形介面、點選下載1234
KoboldCPP角色扮演社群常用5001
llama.cpp直接跑 GGUF8080
LocalAIDocker/一站式相容層8080
Jan · text-generation-webui其它圖形或外掛生態見各頁

推薦順序:30 分鐘通關 → 工具總覽 → 推薦模型 → 在 MiniTavern 中設定 → 卡住查 排錯。

生圖模型部署 ​

在電腦上跑 Stable Diffusion 系服務,App 設定 → 生圖 → 生圖連線 選 A1111 或 ComfyUI。

後端預設連接埠教學
A1111/SD WebUI7860需 --api --listen
ComfyUI8188(Desktop 常見 8000)需 --listen

總覽與硬體說明見 生圖模型部署;填連線見 連 App。

重要提醒 ​

  • 手機裡填的位址必須是電腦的 區域網 IP,不要填 localhost/127.0.0.1。
  • 語言模型 Base URL 通常以 /v1 結尾(如 http://192.168.1.8:11434/v1)。
  • 生圖 A1111 必須開 --api;ComfyUI 必須能區域網存取。
  • 防火牆放行對應連接埠;勿把未鑑權 API 暴露到公網。