Skip to content

本地模型是什么

MiniTavern 是 BYOK(自备密钥) 客户端:对话请求发往你配置的 API 地址,不会强制绑定某一家云厂商。
「本地模型」指在你自己的电脑上运行大语言模型,再用手机上的 MiniTavern 通过局域网连接,实现:

  • 不按 token 向云端付费(电费与硬件除外)
  • 对话内容主要留在你的设备与局域网内
  • 可自由更换开源角色扮演模型

MiniTavern 本身不在手机上跑大模型。模型跑在电脑(或其它能提供 OpenAI 兼容 API 的机器)上,App 只负责角色卡、世界书与聊天界面。

你需要准备什么

项目建议
电脑Windows / macOS / Linux;内存建议 16GB+(8GB 只能跑很小的量化模型)
显卡(可选)NVIDIA / Apple Silicon 会明显更快;纯 CPU 也能跑,但更慢
网络手机与电脑连 同一 Wi‑Fi(不要用访客网络隔离)
时间第一次约 30–60 分钟(下载安装包与模型最耗时)

选哪条路径

完整对比见 工具总览。快速选择:

工具适合谁默认端口(常见)
Ollama命令行省事、一键拉模型11434
LM Studio图形界面、点选下载1234
KoboldCPP角色扮演社区常用5001
llama.cpp想直接跑 GGUF / 可控性强8080
LocalAI喜欢 Docker / 一站式兼容层8080
Jan · text-generation-webui其它图形或插件生态见各页

两条入门路径最后都要在 MiniTavern 里填 自定义(OpenAI 兼容) 连接,见 在 MiniTavern 中配置

推荐阅读顺序

  1. 30 分钟通关 — 先跑通一次对话
  2. 工具总览 — 选适合你的栈
  3. 推荐模型 — 按显存/内存选体量
  4. 按工具细读安装与开服务章节
  5. 卡住时查 排错对照表
  6. App 完整用法见 用户手册

关键提醒

  • 手机里填的地址必须是电脑的 局域网 IP(如 192.168.1.8),不要localhost / 127.0.0.1
  • Base URL 通常要以 /v1 结尾,例如 http://192.168.1.8:11434/v1(个别工具路径以该工具文档为准)。
  • MiniTavern Android 已允许局域网明文 HTTP;仍需关闭电脑防火墙对端口的拦截。