Installieren & Einstieg (KoboldCPP)
KoboldCPP baut auf llama.cpp, leichte UI, in der Roleplay-Community üblich; OpenAI-kompatible HTTP-API für MiniTavern.
Installation
- GitHub Releases: Build fürs System (Windows oft
.exe; sonst laut Anleitung). - Backend wählen (CUDA / Metal / Vulkan / CPU) nach Hardware.
- GGUF-Datei bereithalten (Empfohlene Modelle).
Modell laden
- In KoboldCPP Modell wählen und starten.
- Eigener Chat/UI muss generieren, dann externe API.
- Kontextlänge, GPU-Layers notieren; Defaults reichen für den Pfadtest.