安裝與上手(KoboldCPP)
KoboldCPP 基於 llama.cpp,帶輕量界面,在角色扮演社區很常見,可開啟 OpenAI 兼容 HTTP API,供 MiniTavern 連接。
安裝
- 打開 GitHub Releases,按系統下載對應構建(Windows 常有獨立
.exe;其它系統按說明編譯或使用發佈包)。 - 首次運行按提示選擇後端(CUDA / Metal / Vulkan / CPU 等),以你硬件為準。
- 準備一個 GGUF 模型文件(見 推薦模型)。
加載模型
- 在 KoboldCPP 中選擇模型文件並啟動。
- 確認能在其自帶聊天或 UI 里正常生成,再開對外 API。
- 記下你使用的上下文長度、GPU 層數等;先用默認能跑通即可。