Masalah model
Output terlihat salah
| Gejala | Kemungkinan penyebab | Solusi |
|---|---|---|
| Model menyempurnakan teks alih-alih menjawab | Model base (non-instruct) | Gunakan varian instruct/chat (Model chat) |
| Loop berulang / omong kosong | Kuantisasi terlalu kecil atau repeat penalty | Coba Q5/Q8 dari model yang sama |
| Mengabaikan instruksi di chat panjang | Overflow konteks — giliran awal dibuang | Konteks lebih besar atau riwayat lebih pendek (Konteks dan memori) |
| Berpikir tercampur ke jawaban | Perilaku template reasoning | Periksa kartu model; parsing spesifik template direncanakan (Reasoning) |
Kejutan kemampuan
Badge disimpulkan — model bisa bertag Tools/Vision di Hub tapi tetap gagal lokal saat runtime atau template tidak mendukung. Disklaimernya: Kemampuan.
- Tool call tidak pernah muncul → model/template tanpa pelatihan tool: Tool use.
- Input gambar diabaikan → file proyektor hilang: Vision.
- 404 memanggil model embedding → muat dulu: Embeddings.
Ketidakcocokan template
Gejala: token aneh (<|im_start|>) terlihat di output, atau jawaban mulai di tengah kalimat. Chat template model harus cocok dengan yang diterapkan runtime. Jika kartu model menyatakan template yang tidak didukung runtime, model itu mungkin tidak bekerja dengan benar di build ini — cek Masalah runtime.
Model termuat tapi "model salah" yang menjawab
Dua model dengan nama sama dari publisher berbeda memang ada. Verifikasi id publisher/model yang persis dari botconnector ps --json.
Eskalasi
Sertakan doctor --json, id model, kuantisasi, backend, dan log (Penyelesaian masalah).