Masalah GPU
Masalah GPU
CUDA
| Gejala | Solusi |
|---|
| "CUDA error" saat init | Perbarui driver NVIDIA; verifikasi dengan nvidia-smi |
| OOM VRAM | Kuant lebih kecil, konteks lebih rendah, atau offload parsial (Konteks dan memori) |
| Lambat meski CUDA | Cek aplikasi lain yang memakai VRAM; verifikasi level offload dengan botconnector ps |
| GPU lama tidak didukung | Coba backend Vulkan, jika tidak CPU |
Vulkan
| Gejala | Solusi |
|---|
| "vulkan device not found" | Perbarui driver GPU; verifikasi dengan vulkaninfo |
| Crash saat init | Cakupan driver beta bervariasi — Beta; coba CPU untuk isolasi |
| OOM iGPU (memori bersama) | Windows membatasi memori GPU bersama (~setengah RAM); pakai kuant lebih kecil |
Debugging GPU umum
- Konfirmasi backend benar-benar aktif:
botconnector runtime status. - Fallback:
botconnector runtime use cpu — jika CPU bekerja, masalahnya spesifik GPU. - Perbarui driver sebelum melapor; sertakan output
nvidia-smi atau vulkaninfo. - Coba model kecil (1B) di backend GPU untuk memisahkan "backend rusak" dari "model terlalu besar".
Catatan offload
- Offload penuh butuh model + KV di VRAM.
- Offload parsial membagi layer; transfer PCIe bisa membuatnya lebih lambat dari harapan — benchmark keduanya.
Lihat juga CUDA dan Vulkan.
