開啟 server(llama.cpp)
以下為常見寫法,具體參數以你使用的 llama.cpp 版本 README 為準。
啟動示例
bash
./llama-server -m /path/to/model.gguf --host 0.0.0.0 --port 8080要點:
--host 0.0.0.0:允許局域網訪問(只寫127.0.0.1時手機連不上)--port:自定義端口,並在防火牆放行- 視版本可能需額外打開 OpenAI 兼容路由(新版 server 通常已帶
/v1/chat/completions)
自測
text
http://127.0.0.1:8080/v1/models
http://YOUR_PC_IP:8080/v1/models給 MiniTavern
| 字段 | 示例 |
|---|---|
| Base URL | http://YOUR_PC_IP:8080/v1 |
| API Key | 可留空或佔位 |
| 模型名 | 與 /v1/models 中的 id 一致(有的版本為文件名) |