工具總覽
MiniTavern 只要對方提供 OpenAI 兼容 的 Chat Completions(或可映射到該協議),就能用「自定義」模型連接接入。下表幫你選工具。
對比
| 工具 | 上手難度 | 界面 | 拉模型 | 角色扮演向 | 典型 Base URL |
|---|---|---|---|---|---|
| Ollama | ★☆☆ | 托盤 + CLI | ollama pull | 通用對話強 | http://IP:11434/v1 |
| LM Studio | ★☆☆ | 完整 GUI | 應用內下載 | 通用 | http://IP:1234/v1 |
| KoboldCPP | ★★☆ | 輕量 GUI/CLI | 自備 GGUF | RP 社區常用 | http://IP:5001/v1 |
| llama.cpp server | ★★★ | CLI | 自備 GGUF | 可控、輕 | http://IP:8080/v1 |
| LocalAI | ★★☆ | API / 可選 UI | YAML / 鏡像 | 多後端 | http://IP:8080/v1 |
| Jan | ★☆☆ | 桌面 App | 應用內 | 通用 | 見應用「API」頁 |
| text-generation-webui | ★★★ | Web UI | 擴展多 | 插件生態 | 開啟 OpenAI 擴展後 |
怎麼選(一句話)
- 只想最快跑通:Ollama 或 LM Studio → 30 分鐘通關
- 更在意角色扮演預設 / 採樣器:KoboldCPP
- 已有 GGUF、想最少依賴:llama.cpp
llama-server - 已在用 Docker / 想統一兼容層:LocalAI
- 喜歡一體化桌面助手:Jan
- 已有 oobabooga 環境:開 OpenAI 兼容擴展後連 MiniTavern
共同要求
無論選哪款:
- 服務監聽 局域網(
0.0.0.0或「允許局域網設備」),不要只綁127.0.0.1 - 防火牆放行對應端口
- 手機填 電腦局域網 IP,Base URL 帶
/v1(除非該工具文檔另有說明) - 模型名與工具裡顯示的 id / 名稱完全一致
下一步:推薦模型 · 在 MiniTavern 中配置