BotConnector
warning
Referensi managed-runtime legacy. Contoh command di bawah berasal dari desktop/managed llama.cpp preview lama dan bersifat legacy, bukan permukaan command BCCLI v0.4 saat ini. Gunakan BCCLI dan AI Lokal untuk instruksi terkini.

Coding

Apa itu?

Model coding dilatih atau ditandai secara eksplisit untuk tugas perangkat lunak: generasi kode, refactoring, perbaikan bug, penalaran level repositori. Model ini adalah model chat GGUF biasa dengan data pelatihan yang padat kode.

Kapan memakainya?

  • Backend untuk asisten coding (Integrasi) — OpenCode, Cline, Continue.
  • Workflow terminal-first via CLI chat.
  • Otomasi lewat skrip melalui API lokal.

Prasyarat

  • Model bertag tugas kode — filter katalog dengan Coding.
  • Memori cukup: model coding yang mampu biasanya 7B+; 14B+ terasa lebih baik.
  • Untuk tool agentic: model dengan dukungan tool-calling — Tool use.

Contoh kerja minimum

powershell
botconnector models search coder --capability coding
botconnector get <publisher>/<model>@Q4_K_M
botconnector run <publisher>/<model>

Lalu arahkan tool editor Anda ke endpoint lokal:

http://127.0.0.1:11435/v1

Contoh konfigurasi per tool: Integrasi.

Memilih ukuran vs kecepatan

MesinUkuran model disarankan
RAM 8 GB1,5–7B di Q4
RAM 16 GB7–14B di Q4
RAM/VRAM 24 GB+14–30B di Q4

Model kecil yang merespons cepat sering mengalahkan model besar yang memorinya berat. Lihat Konteks dan memori.

Keterbatasan

  • Panjang konteks menentukan berapa banyak kode muat dalam satu permintaan — lihat panjang konteks model di halaman detailnya.
  • Tool coding agentic butuh tool-calling; model teks-only menjawab sekali dan tidak bisa memanggil tool.
  • File panjang melebihi konteks; pecah atau pakai model konteks lebih besar.

Penyelesaian masalah

Bahasa salah, sintaks rusak, instruksi terlupakan: Masalah model.