安装与上手(KoboldCPP)
KoboldCPP 基于 llama.cpp,带轻量界面,在角色扮演社区很常见,可开启 OpenAI 兼容 HTTP API,供 MiniTavern 连接。
安装
- 打开 GitHub Releases,按系统下载对应构建(Windows 常有独立
.exe;其它系统按说明编译或使用发布包)。 - 首次运行按提示选择后端(CUDA / Metal / Vulkan / CPU 等),以你硬件为准。
- 准备一个 GGUF 模型文件(见 推荐模型)。
加载模型
- 在 KoboldCPP 中选择模型文件并启动。
- 确认能在其自带聊天或 UI 里正常生成,再开对外 API。
- 记下你使用的上下文长度、GPU 层数等;先用默认能跑通即可。