Tool-Übersicht
MiniTavern braucht OpenAI-kompatible Chat Completions (oder mappbar) — dann Custom-Modellverbindung. Tabelle zur Auswahl.
Vergleich
| Tool | Einstieg | UI | Modell laden | Roleplay | typische Base URL |
|---|---|---|---|---|---|
| Ollama | ★☆☆ | Tray + CLI | ollama pull | stark allgemein | http://IP:11434/v1 |
| LM Studio | ★☆☆ | volle GUI | In-App-Download | allgemein | http://IP:1234/v1 |
| KoboldCPP | ★★☆ | leichte GUI/CLI | eigenes GGUF | RP-Community üblich | http://IP:5001/v1 |
| llama.cpp server | ★★★ | CLI | eigenes GGUF | kontrollierbar, leicht | http://IP:8080/v1 |
| LocalAI | ★★☆ | API / optional UI | YAML / Image | Multi-Backend | http://IP:8080/v1 |
| Jan | ★☆☆ | Desktop-App | In-App | allgemein | siehe «API»-Seite |
| text-generation-webui | ★★★ | Web UI | viele Extensions | Plugin-Ökosystem | nach OpenAI-Extension |
Kurz entscheiden
- Schnellstmöglich: Ollama oder LM Studio → 30-Minuten-Quickstart
- RP-Presets / Sampler: KoboldCPP
- GGUF, minimale Abhängigkeiten: llama.cpp
llama-server - Docker / eine Kompatibilitätsschicht: LocalAI
- All-in-one Desktop-Assistent: Jan
- oobabooga schon da: OpenAI-kompatible Extension, dann MiniTavern
Gemeinsame Anforderungen
Unabhängig vom Tool:
- Dienst auf LAN (
0.0.0.0oder «Geräte im Netz erlauben»), nicht nur127.0.0.1 - Firewall-Port freigeben
- Auf dem Handy PC-LAN-IP, Base URL mit
/v1(außer Tool-Doku anders) - Modellname exakt wie id / Name im Tool