Python chat

Beta

Desain target SDK

python

from botconnector import Client

client = Client()
model = client.llm("<publisher>/<model>")
response = model.chat("Jelaskan GGUF dalam satu paragraf")
print(response.text)

Source SDK sudah diimplementasikan dan diuji live, tetapi paket PyPI belum dipublikasikan. Contoh mengasumsikan source boundary ada di PYTHONPATH.

Bekerja hari ini via API kompatibel OpenAI

python

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:11435/v1", api_key="not-needed")
resp = client.chat.completions.create(
    model="<publisher>/<model>",
    messages=[
        {"role": "system", "content": "Anda asisten teknis yang ringkas."},
        {"role": "user", "content": "Jelaskan GGUF dalam satu paragraf"},
    ],
)
print(resp.choices[0].message.content)

Untuk workflow terminal saat ini, gunakan BCCLI.

Catatan

Field model harus cocok dengan id model yang dimuat; daftar yang dimuat dengan botconnector ps --json.
Referensi endpoint lengkap: POST /v1/chat/completions.