インストールと入門(KoboldCPP)
KoboldCPP は llama.cpp ベースの軽量 UI で、ロールプレイコミュニティでよく使われ、OpenAI 互換 HTTP API を開けて MiniTavern に接続できます。
インストール
- GitHub Releases から OS に合うビルドを取得(Windows は独立
.exeが多い;他は説明どおりビルドまたは配布物)。 - 初回起動の案内に従いバックエンド(CUDA/Metal/Vulkan/CPU など)を選択、ハードウェア準拠。
- GGUF モデルファイルを用意(推奨モデル)。
モデルのロード
- KoboldCPP でモデルファイルを選び起動。
- 付属チャットまたは UI で正常生成できることを確認してから、外部 API を開く。
- コンテキスト長、GPU 層数などを控える;まず既定で通ればよい。