CPU

Apa itu?

Backend CPU menjalankan inferensi sepenuhnya di prosesor Anda. Selalu tersedia, tanpa butuh driver GPU, dan menjadi fallback saat tidak ada backend GPU yang bekerja.

Kapan memakainya?

• Mesin tanpa GPU yang bisa dipakai.
• Model kecil (≤ 7–8B) di mana kecepatan masih dapat diterima.
• Diagnosis: saat backend GPU bermasalah, pastikan modelnya sendiri bekerja di CPU.

Prasyarat

• Runtime terpasang: botconnector runtime status — botconnector runtime.

Contoh kerja minimum

botconnector runtime use cpu
botconnector run <publisher>/<model>
botconnector ps

Ekspektasi performa

• Model dense 7–8B di Q4: kira-kira 5–10 token/detik pada CPU desktop modern (bervariasi dengan jumlah core dan kecepatan memori).
• Model lebih besar melambat kira-kira sebanding ukurannya.
• Pemrosesan prompt biasanya lebih lambat daripada generasi di CPU.

Opsi

• Jumlah thread default-nya core fisik; lebih banyak thread tidak selalu lebih cepat di CPU hybrid.
• Kecepatan memori penting: dual-channel DDR4/DDR5 menaikkan token/detik secara nyata.

Keterbatasan

• Konteks panjang dan model besar tidak praktis di CPU saja.
• CPU desktop hybrid (big.LITTLE) bisa menggunakarkan core secara tidak optimal tergantung perilaku scheduler.

Penyelesaian masalah

Generasi lambat → verifikasi kuant lebih kecil muat di RAM: Masalah memori. Runtime gagal start di CPU → Masalah runtime.