warning

Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

CPU

Apa itu?

Backend CPU menjalankan inferensi sepenuhnya di prosesor Anda. Selalu tersedia, tanpa butuh driver GPU, dan menjadi fallback saat tidak ada backend GPU yang bekerja.

Kapan memakainya?

Mesin tanpa GPU yang bisa dipakai.
Model kecil (≤ 7–8B) di mana kecepatan masih dapat diterima.
Diagnosis: saat backend GPU bermasalah, pastikan modelnya sendiri bekerja di CPU.

Prasyarat

Runtime terpasang: botconnector runtime status — botconnector runtime.

Contoh kerja minimum

powershell

botconnector runtime use cpu
botconnector run <publisher>/<model>
botconnector ps

Ekspektasi performa

Model dense 7–8B di Q4: kira-kira 5–10 token/detik pada CPU desktop modern (bervariasi dengan jumlah core dan kecepatan memori).
Model lebih besar melambat kira-kira sebanding ukurannya.
Pemrosesan prompt biasanya lebih lambat daripada generasi di CPU.

Opsi

Jumlah thread default mengikuti core fisik; lebih banyak thread tidak selalu lebih cepat di CPU hybrid.
Kecepatan memori penting: dual-channel DDR4/DDR5 menaikkan token/detik secara nyata.

Keterbatasan

Konteks panjang dan model besar tidak praktis di CPU saja.
CPU desktop hybrid (big.LITTLE) bisa menggunakan core secara tidak optimal tergantung perilaku scheduler.

Penyelesaian masalah

Generasi lambat → verifikasi kuant lebih kecil muat di RAM: Masalah memori. Runtime gagal start di CPU → Masalah runtime.