Server starten (llama.cpp)
Häufige Schreibweise — Parameter laut Ihrer llama.cpp-README.
Startbeispiel
bash
./llama-server -m /path/to/model.gguf --host 0.0.0.0 --port 8080Punkte:
--host 0.0.0.0: LAN (nur127.0.0.1→ Handy scheitert)--port: Port + Firewall- je Version ggf. OpenAI-Routen (neuere Server meist
/v1/chat/completions)
Selbsttest
text
http://127.0.0.1:8080/v1/models
http://YOUR_PC_IP:8080/v1/modelsFür MiniTavern
| Feld | Beispiel |
|---|---|
| Base URL | http://YOUR_PC_IP:8080/v1 |
| API Key | leer oder Platzhalter |
| Modellname | id aus /v1/models (manchmal Dateiname) |