설치와 시작(KoboldCPP)
KoboldCPP는 llama.cpp 기반 경량 UI로, 롤플레이 커뮤니티에서 흔하며 OpenAI 호환 HTTP API를 켜 MiniTavern에 연결할 수 있습니다.
설치
- GitHub Releases에서 OS별 빌드(Windows는 독립
.exe흔함; 다른 OS는 문서대로 빌드/패키지). - 첫 실행에서 백엔드(CUDA / Metal / Vulkan / CPU)선택 — 하드웨어 기준.
- GGUF 모델 준비(추천 모델).
모델 로드
- KoboldCPP에서 모델 파일 선택·시작.
- 내장 채팅/UI에서 생성 확인 후 외부 API.
- 컨텍스트·GPU 레이어 기록; 먼저 기본으로 통관.