BotConnector
EN

BotConnector Local

Jalankan model AI di komputer Anda sendiri.

Satu perintah membuka halaman chat pribadi di komputer Anda. Modelnya berjalan di CPU atau GPU Anda, tetap jalan tanpa internet, dan bisa juga menjawab chat yang Anda kirim dari web app BotConnector.

npx https://app.botconnector.id/device-cli-launcher-v1.0.2.tgz offline --allow-local-ai

Butuh Node.js 22.12 atau lebih baru. Tidak ada lagi yang perlu dipasang. Model mana yang cocok untuk komputer saya?

Dua cara memakai model yang sama

Modelnya selalu berjalan di komputer Anda. Yang berbeda hanya tempat Anda mengetik.

Halaman chat BotConnector Local di browser.

Offline, di browser Anda

Halaman chat di 127.0.0.1 dengan riwayat chat, lampiran file, dan pengelolaan model. Tetap jalan walau internet diputus.

Web app BotConnector memakai model di laptop pengguna.

Dari web app

Sambungkan perangkat dengan kode dari web app lalu pilih Local. Pesan Anda dikirim ke komputer Anda; jawabannya kembali ke web app.

Pakai AI Lokal juga di Switchboard

Selain chat offline dan pairing WebApp di atas, model GGUF yang berjalan melalui BotConnector Local Core bisa dipakai agen Switchboard v0.4.2 di komputer yang sama. Jalur ini tidak mengganti pairing WebApp yang sudah ada.

  1. Instal atau perbarui Switchboard dengan npm install -g @botconnector/switchboard@latest.
  2. Jalankan sbx local untuk membuka pengelola model asli yang sudah dibundel. Pilih dan jalankan model secara eksplisit; cek melalui sbx local status.
  3. Buka sbx web, lalu pilih Settings → Models → AI Lokal untuk memakai model yang sedang aktif.

Jalur Switchboard menggunakan model lokal di perangkat Anda, bukan GPU server website. Model GGUF dan runtime tambahan tidak diunduh otomatis. Bila AI lokal berhenti, Switchboard tidak diam-diam mengalihkan permintaan ke Cloud.

Pelajari AI Lokal di Switchboard · Unduh rilis v0.4.2 / Windows portable

Cara mulai

  1. Buka terminal (PowerShell di Windows) dan jalankan perintah di atas. Halaman chat terbuka di browser.
  2. Buka Models. BotConnector memeriksa RAM dan GPU Anda lalu menandai setiap model great, ok, atau warn untuk komputer ini. Unduh salah satunya.
  3. Mulai chat. Untuk memakai model dari web app, jalankan perintahnya dengan connect alih-alih offline, lalu masukkan kode pairing dari web app. Cara mengambil kodenya.

Mesin yang menjalankan model

BotConnector memakai yang sudah Anda punya:

  • Lemonade atau Ollama, kalau salah satunya sedang jalan.
  • Kalau tidak ada, ia mengunduh llama.cpp resmi untuk Windows atau Linux — versi GPU kalau ada GPU, versi CPU kalau tidak.
  • Di macOS, pasang Ollama dulu; BotConnector akan memakainya.

Hubungkan komputer ke web app

Cukup pairing sekali dengan kode. Setelah itu perangkat tersambung sendiri setiap kali BotConnector Local dijalankan.

  1. Masuk di app.botconnector.id. Di bilah kiri, klik ikon laptop untuk membuka Devices.
  2. Klik Generate pairing code. Kode berlaku beberapa menit; jam kedaluwarsanya tertulis di bawah kode.
  3. Masukkan kode itu di komputer, di salah satu tempat ini:
    • di terminal: jalankan perintah di bawah lalu ketik kodenya di Pairing code:
    • di halaman BotConnector Local: Connect Web App → tempel kode → Connect
    npx https://app.botconnector.id/device-cli-launcher-v1.0.2.tgz connect --allow-local-ai
  4. Perangkat muncul di Your devices dengan status Online. Di chat, ganti dari Cloud ke Local lalu pilih model yang ada di komputer Anda.

Untuk berhenti, tutup terminal atau klik Disconnect. Pairing hanya tersimpan untuk akun pengguna di komputer itu.

Panel Devices di web app: Generate pairing code, kode pairing dengan jam kedaluwarsa, dan laptop Windows yang sudah terhubung berstatus Online.

Device fit: model dipilih sesuai hardware Anda yang sebenarnya

Device fit di BotConnector Local membaca prosesor, memori, grafis, dan akselerator komputer ini, serta mesin yang Anda punya (llama.cpp, Ollama, Lemonade). Ia mengurutkan model sesuai kebutuhan Anda, lalu mengukurnya di komputer Anda setelah diunduh.

Device fit, tab Recommended: perangkat ini (AMD Ryzen AI 7 350, 31,1 GB, Radeon 860M, NPU), use case, Fast/Balanced/Quality, dan model yang direkomendasikan beserta ukuran unduhan dan sisa RAM.

Sebelum unduh: Recommended

Pilih kebutuhan (General, Bahasa Indonesia, Coding, Reasoning, Vision, Tools) dan Fast, Balanced, atau Quality. Setiap model menunjukkan ukuran unduhan, RAM yang dibutuhkan, dan sisa memori setelah dimuat, bertanda Estimated.

Device fit, tab Installed: Qwen 2.5 1.8B terukur 464,4 token/detik untuk prompt dan 18,5 untuk generate; lfm2.5 8b 21,8 token/detik.

Setelah unduh: Installed

Benchmark satu model atau semuanya di komputer ini: kecepatan prompt dan generate, waktu load, dan waktu total, bertanda Measured. Centang Compare untuk membandingkan dua model.

Screenshot dari laptop dengan AMD Ryzen AI 7 350 dan RAM 31 GB. Buka Device fit dari sidebar setelah BotConnector Local berjalan; perangkat dan model yang sama bisa dipakai dari web app setelah disambungkan.

App lokal, offline

npx https://app.botconnector.id/device-cli-launcher-v1.0.2.tgz offline --allow-local-ai

Web app, tersambung ke perangkat ini

npx https://app.botconnector.id/device-cli-launcher-v1.0.2.tgz connect --allow-local-ai

Tetap di perangkat Anda

Halaman chat hanya bisa diakses dari 127.0.0.1 dan butuh token sesi acak. Pesan dan file tidak dikirim ke BotConnector.

Tidak ada yang jalan tanpa izin

Unduh model dan inferensi butuh --allow-local-ai. Alat jarak jauh tetap mati kecuali Anda izinkan untuk sesi itu.

Tutup, maka berhenti

Pairing hanya hidup selama prosesnya jalan. Tutup terminal atau tekan Ctrl+C, perangkat langsung offline.