Runtime

Apa itu?

BotConnector tidak mengirim mesin inferensi privatnya sendiri. Ia mengelola rilis resmi llama.cpp: mengunduh build yang tepat untuk platform Anda, memulai/menghentikannya, dan mengekspos satu endpoint penyajian lokal. "Backend" (bagaimana komputasi dieksekusi) adalah pilihan terpisah dari "model" (apa yang berjalan).

Siklus hidup

STOPPED → STARTING → READY
                  ↘ FAILED (exit code + stderr dicatat)

• STOPPED — tidak ada yang berjalan.
• STARTING — proses runtime diluncurkan, memuat model.
• READY — model dimuat, API melayani di 127.0.0.1:11435.

PID saja bukan readiness — BotConnector mem-polling API untuk mengonfirmasi status READY.

Memeriksa

botconnector runtime status
botconnector ps

Backend

• CPU — selalu bekerja, paling lambat.
• Vulkan — AMD/Intel/NVIDIA via satu backend portabel.
• CUDA — GPU NVIDIA.

Pemilihan: auto (default) memilih backend terbaik yang terdeteksi; kunci satu secara eksplisit — lihat Backend.

Memasang atau memperbarui runtime

botconnector runtime install

Mengambil rilis resmi yang cocok dengan platform Anda. Lihat botconnector runtime.

Server

Server lokal terikat ke 127.0.0.1:11435 secara default. Ekspos ke LAN harus eksplisit dan terautentikasi — lihat Pengikatan jaringan.

Penyelesaian masalah

Kegagalan start runtime, ketidakcocokan backend, OOM saat pemuatan: Penyelesaian masalah runtime dan indeks Penyelesaian masalah.