warning

Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

Backend

Apa itu backend?

Backend menentukan di mana dan bagaimana perhitungan tensor berjalan. Model adalah file GGUF yang agnostik backend; model yang sama bisa berjalan di CPU, Vulkan, atau CUDA. Pilihan backend memengaruhi kecepatan dan penempatan memori, bukan kemampuan.

Pemilihan otomatis (default)

auto memilih yang pertama tersedia: CUDA → Vulkan → CPU, dengan CPU sebagai fallback permanen:

powershell

botconnector runtime use auto

Mengunci backend

powershell

botconnector runtime use cuda
botconnector runtime use vulkan
botconnector runtime use cpu

Verifikasi yang aktif:

powershell

botconnector runtime status

Halaman backend

CPU — fallback universal.
Vulkan — satu paket untuk AMD/Intel/NVIDIA.
CUDA — spesifik NVIDIA.

GPU offload

Backend GPU memindahkan layer ke VRAM ("offload"). Opsi saat pemuatan:

Offload penuh — semua layer di GPU; tercepat; butuh VRAM ≥ model + KV cache.
Offload parsial — sebagian layer di GPU, sisanya di CPU; memakai keduanya.
Tanpa offload — CPU saja.

Offload lebih besar tidak selalu lebih cepat saat transfer PCIe mendominasi; ukur dengan model Anda. Lihat Konteks dan memori.

Berganti backend

Untuk mengganti backend, muat ulang runtime: botconnector unload lalu botconnector run <model>.

Penyelesaian masalah

Kegagalan spesifik backend: Masalah GPU dan Masalah runtime.