warning

Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

Runtime

Apa itu?

BotConnector tidak mengirim mesin inferensi privatnya sendiri. Ia mengelola rilis resmi llama.cpp: mengunduh build yang tepat untuk platform Anda, memulai/menghentikannya, dan mengekspos satu endpoint penyajian lokal. "Backend" (bagaimana komputasi dieksekusi) adalah pilihan terpisah dari "model" (apa yang berjalan).

Siklus hidup

STOPPED → STARTING → READY
                  ↘ FAILED (exit code + stderr dicatat)

STOPPED — tidak ada yang berjalan.
STARTING — proses runtime diluncurkan, memuat model.
READY — model dimuat, API melayani di 127.0.0.1:11435.

PID saja bukan readiness — BotConnector melakukan polling ke API untuk mengonfirmasi status READY.

Memeriksa

powershell

botconnector runtime status
botconnector ps

Backend

CPU — selalu bekerja, paling lambat.
Vulkan — AMD/Intel/NVIDIA via satu backend portabel.
CUDA — GPU NVIDIA.

Pemilihan: auto (default) memilih backend terbaik yang terdeteksi; kunci satu secara eksplisit — lihat Backend.

Memasang atau memperbarui runtime

powershell

botconnector runtime install

Mengambil rilis resmi yang cocok dengan platform Anda. Lihat botconnector runtime.

Server

Server lokal terikat ke 127.0.0.1:11435 secara default. Ekspos ke LAN harus eksplisit dan terautentikasi — lihat Pengikatan jaringan.

Penyelesaian masalah

Kegagalan start runtime, ketidakcocokan backend, OOM saat pemuatan: Penyelesaian masalah runtime dan indeks Penyelesaian masalah.