warning

Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

Chat

Percakapan umum dan generasi teks. Ini kategori default: model instruct-tuned yang menerima daftar pesan dan menghasilkan balasan asisten.

Kapan memakai model Chat

Asisten percakapan, tanya-jawab atas prompt, penyusunan dan ringkasan.
Workflow apa pun di mana pengguna atau aplikasi mengirim teks dan mengharapkan teks kembali.

Prasyarat

GGUF chat/instruct yang diunduh — filter katalog dengan Chat.
Runtime siap: botconnector runtime status — Runtime.

Contoh kerja minimum

powershell

botconnector get <publisher>/<model>@Q4_K_M
botconnector run <publisher>/<model>
botconnector chat

Atau melalui API:

bash

curl http://127.0.0.1:11435/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"<publisher>/<model>","messages":[{"role":"user","content":"Hello"}]}'

Opsi

Panjang konteks saat pemuatan — Konteks dan memori.
System prompt melalui peran system — Chat.
Streaming dengan "stream": true — Streaming.

Keterbatasan

Model base (non-instruct) menyempurnakan teks alih-alih menjawab; utamakan varian instruct untuk chat.
Percakapan panjang keluar dari konteks — giliran awal hilang.
Kualitas bergantung pada kuantisasi: Kuantisasi.

Penyelesaian masalah

Balasan terpotong atau berulang, gejala ketidakcocokan template: Masalah model.

Terkait

Kemampuan — arti badge.
Menjalankan model.