Skip to content

開啟 server(llama.cpp) ​

以下為常見寫法,具體參數以你使用的 llama.cpp 版本 README 為準。

啟動示例 ​

bash
./llama-server -m /path/to/model.gguf --host 0.0.0.0 --port 8080

要點:

  • --host 0.0.0.0:允許局域網訪問(只寫 127.0.0.1 時手機連不上)
  • --port:自定義端口,並在防火牆放行
  • 視版本可能需額外打開 OpenAI 兼容路由(新版 server 通常已帶 /v1/chat/completions)

自測 ​

text
http://127.0.0.1:8080/v1/models
http://YOUR_PC_IP:8080/v1/models

給 MiniTavern ​

字段示例
Base URLhttp://YOUR_PC_IP:8080/v1
API Key可留空或佔位
模型名與 /v1/models 中的 id 一致(有的版本為文件名)

下一步 ​

在 MiniTavern 中配置 · 排錯