本地模型是什么
MiniTavern 是 BYOK(自备密钥) 客户端:对话请求发往你配置的 API 地址,不会强制绑定某一家云厂商。
「本地模型」指在你自己的电脑上运行大语言模型,再用手机上的 MiniTavern 通过局域网连接,实现:
- 不按 token 向云端付费(电费与硬件除外)
- 对话内容主要留在你的设备与局域网内
- 可自由更换开源角色扮演模型
MiniTavern 本身不在手机上跑大模型。模型跑在电脑(或其它能提供 OpenAI 兼容 API 的机器)上,App 只负责角色卡、世界书与聊天界面。
你需要准备什么
| 项目 | 建议 |
|---|---|
| 电脑 | Windows / macOS / Linux;内存建议 16GB+(8GB 只能跑很小的量化模型) |
| 显卡(可选) | NVIDIA / Apple Silicon 会明显更快;纯 CPU 也能跑,但更慢 |
| 网络 | 手机与电脑连 同一 Wi‑Fi(不要用访客网络隔离) |
| 时间 | 第一次约 30–60 分钟(下载安装包与模型最耗时) |
选哪条路径
完整对比见 工具总览。快速选择:
| 工具 | 适合谁 | 默认端口(常见) |
|---|---|---|
| Ollama | 命令行省事、一键拉模型 | 11434 |
| LM Studio | 图形界面、点选下载 | 1234 |
| KoboldCPP | 角色扮演社区常用 | 5001 |
| llama.cpp | 想直接跑 GGUF / 可控性强 | 8080 |
| LocalAI | 喜欢 Docker / 一站式兼容层 | 8080 |
| Jan · text-generation-webui | 其它图形或插件生态 | 见各页 |
两条入门路径最后都要在 MiniTavern 里填 自定义(OpenAI 兼容) 连接,见 在 MiniTavern 中配置。
推荐阅读顺序
关键提醒
- 手机里填的地址必须是电脑的 局域网 IP(如
192.168.1.8),不要填localhost/127.0.0.1。 - Base URL 通常要以
/v1结尾,例如http://192.168.1.8:11434/v1(个别工具路径以该工具文档为准)。 - MiniTavern Android 已允许局域网明文 HTTP;仍需关闭电脑防火墙对端口的拦截。