warning
Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.Memilih model
Tujuan
Memilih model dari katalog yang mampu mengerjakan tugas Anda dan muat di mesin Anda.
Yang perlu disiapkan
- Tugas Anda (chat, coding, vision, dan sebagainya).
- RAM dan GPU mesin Anda, dari
botconnector doctor(Instal Local Runtime) atau Persyaratan sistem.
Langkah-langkah
- Sebutkan tugas Anda. Kemampuan yang Anda butuhkan menentukan kandidatnya: chat, coding, reasoning, vision, embeddings, audio — lihat Kemampuan.
- Buka Katalog model dan saring berdasarkan kemampuan itu. Setiap entri membawa label bukti yang disimpulkan dari metadata Hub — label itu petunjuk, bukan jaminan.
- Saring berdasarkan kecocokan perangkat keras. Katalog menyorot model yang ukuran filennya muat di RAM Anda — lihat Kecocokan perangkat keras.
- Bandingkan kandidat dari sisi kualitas vs ukuran. Jumlah parameter dan kuantisasi yang lebih besar memberi jawaban lebih baik tapi butuh memori lebih — lihat Kuantisasi dan Konteks dan memori.
- Pilih satu model dan unduh: Unduh model untuk mode perangkat, atau pilih di Pemilih model untuk mode cloud.
Hasil yang diharapkan
Anda sudah memilih satu model, dengan kuantisasi yang Anda yakini muat di mesin, dan target komputasi yang Anda pilih sendiri.
Jika gagal
- Model terpilih tidak berperilaku sesuai labelnya (template salah, keluaran lemah): Masalah model.
- Model tidak muat di memori Anda: Masalah memori dan Kecocokan perangkat keras.
- Masalah umum: Penyelesaian masalah.
Langkah berikutnya
Cocokkan model dengan mesin Anda secara detail: Kecocokan perangkat keras, atau langsung mengunduh: Unduh model.