BotConnector
Masuk Workspace Buka Aplikasi

Penggunaan tool

Tool Use: beta · public · verified

Apa itu?

Tool (function) calling memungkinkan model mengeluarkan permintaan terstruktur — nama plus argumen JSON — alih-alih balasan biasa, sehingga kode Anda bisa mengeksekusi fungsi nyata dan memberi hasilnya kembali ke model. BotConnector mengekspos ini melalui field tools kompatibel OpenAI.

Kapan memakainya?

  • Memberi asisten akses data live (cuaca, harga, database) atau melakukan aksi.
  • Membangun agen yang butuh lebih dari generasi teks.

Prasyarat

  • Model yang ditandai tool/function calling — filter katalog dengan Tools.
  • Chat template yang merender sintaks tool-call (template GGUF sadar-tool).
  • Dukungan runtime untuk parsing tool. Experimental

Contoh kerja minimum

bash
curl http://127.0.0.1:11435/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<publisher>/<model>",
    "messages": [{"role":"user","content":"What is the weather in Jakarta?"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get current weather",
        "parameters": {
          "type": "object",
          "properties": {"city": {"type": "string"}},
          "required": ["city"]
        }
      }
    }]
  }'

Model yang mampu tool menjawab dengan finish_reason: "tool_calls" dan panggilan terstruktur yang dieksekusi kode Anda, lalu Anda lanjutkan percakapan dengan hasil tool sebagai pesan role: "tool".

Konfigurasi/opsi

  • Definisi tool mengikuti skema fungsi OpenAI.
  • Apakah model memutuskan memanggil tool bergantung pada prompt dan kualitas model.

Keterbatasan

  • Bergantung model/template — model tanpa pelatihan tool akan menghalusinasi sintaks panggilan atau mengabaikan tools. Badge disimpulkan; verifikasi dengan model Anda. Lihat Kemampuan.
  • Tidak semua chat template merender tool call; periksa kartu model.
  • Parallel tool calls bergantung pada dukungan template.

Penyelesaian masalah

  • Tidak ada tool call keluar → model kemungkinan tanpa pelatihan tool; coba model bertag Tools.
  • JSON rusak di tool call → turunkan temperature, atau kuantisasi lebih besar.
  • Detail: Masalah model.

Terkait