warning

Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

Masalah GPU

CUDA

Gejala	Solusi
"CUDA error" saat init	Perbarui driver NVIDIA; verifikasi dengan `nvidia-smi`
OOM VRAM	Kuant lebih kecil, konteks lebih rendah, atau offload parsial (Konteks dan memori)
Lambat meski CUDA	Cek aplikasi lain yang memakai VRAM; verifikasi level offload dengan `botconnector ps`
GPU lama tidak didukung	Coba backend Vulkan, jika tidak CPU

Vulkan

Gejala	Solusi
"vulkan device not found"	Perbarui driver GPU; verifikasi dengan `vulkaninfo`
Crash saat init	Cakupan driver bervariasi; coba CPU untuk isolasi
OOM iGPU (memori bersama)	Windows membatasi memori GPU bersama (~setengah RAM); pakai kuant lebih kecil

Debugging GPU umum

Konfirmasi backend aktif: botconnector runtime status.
Fallback: botconnector runtime use cpu — jika CPU bekerja, masalahnya spesifik GPU.
Perbarui driver sebelum melapor; sertakan output nvidia-smi atau vulkaninfo.
Coba model kecil (1B) di backend GPU untuk memisahkan "backend rusak" dari "model terlalu besar".

Catatan offload

Offload penuh butuh model + KV di VRAM.
Offload parsial membagi layer; transfer PCIe bisa membuatnya lebih lambat dari harapan — benchmark keduanya.

Lihat juga CUDA dan Vulkan.