server(llama.cpp)
흔한 표기입니다. 인자는 사용 중인 llama.cpp README 기준.
시작 예
bash
./llama-server -m /path/to/model.gguf --host 0.0.0.0 --port 8080요점:
--host 0.0.0.0: LAN(127.0.0.1만이면 폰 불가)--port: 커스텀 + 방화벽- 버전에 따라 OpenAI 호환 라우트 추가 필요할 수 있음(신버전 server는 보통
/v1/chat/completions포함)
자가 테스트
text
http://127.0.0.1:8080/v1/models
http://YOUR_PC_IP:8080/v1/modelsMiniTavern
| 필드 | 예 |
|---|---|
| Base URL | http://YOUR_PC_IP:8080/v1 |
| API Key | 비움 또는 자리 |
| 모델명 | /v1/models id(일부는 파일명) |