Model chat

warning

Chat

Percakapan umum dan generasi teks. Ini kategori default: model instruct-tuned yang menerima daftar pesan dan menghasilkan balasan asisten.

Kapan memakai model Chat

Asisten percakapan, tanya-jawab atas prompt, penyusunan dan ringkasan.
Workflow apa pun di mana pengguna atau aplikasi mengirim teks dan mengharapkan teks kembali.

Prasyarat

GGUF chat/instruct yang diunduh — filter katalog dengan Chat.
Runtime siap: botconnector runtime status — Runtime.

Contoh kerja minimum

powershell

botconnector get <publisher>/<model>@Q4_K_M
botconnector run <publisher>/<model>
botconnector chat

Atau melalui API:

bash

curl http://127.0.0.1:11435/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"<publisher>/<model>","messages":[{"role":"user","content":"Hello"}]}'

Opsi

Panjang konteks saat pemuatan — Konteks dan memori.
System prompt melalui peran system — Chat.
Streaming dengan "stream": true — Streaming.

Keterbatasan

Model base (non-instruct) menyempurnakan teks alih-alih menjawab; utamakan varian instruct untuk chat.
Percakapan panjang keluar dari konteks — giliran awal hilang.
Kualitas bergantung pada kuantisasi: Kuantisasi.

Penyelesaian masalah

Balasan terpotong atau berulang, gejala ketidakcocokan template: Masalah model.

Terkait

Kemampuan — arti badge.
Menjalankan model.