Agen AI di WhatsApp: rekan kerja digital yang bekerja melalui percakapan

Saya membangun agen AI yang menerima perintah dalam bahasa sehari-hari melalui WhatsApp. Agen ini dapat memproses dokumen, menggabungkan data, mentranskripsikan rekaman audio, hingga memantau berita. Seluruh berkas diproses secara lokal dan tidak pernah diunggah ke cloud.

Tantangan

Pekerjaan kantor modern dipenuhi tugas-tugas repetitif: menggabungkan puluhan berkas Excel, menyusun bahan presentasi, mentranskripsikan rekaman wawancara, dan memantau berita industri. Sementara itu, asisten AI berbasis cloud mengharuskan pengguna mengunggah dokumen ke layanan pihak ketiga—sesuatu yang tidak dapat diterima untuk data sensitif.

Pendekatan

Saya membangun agen AI yang berjalan di komputer saya sendiri dan menerima perintah melalui WhatsApp dalam bahasa sehari-hari. Arsitekturnya terdiri atas dua komponen utama: gateway WhatsApp berbasis Node.js dan sistem agen berbasis Python/FastAPI yang menjalankan siklus penggunaan alat untuk memilih sendiri kemampuan yang paling sesuai bagi setiap perintah.

Seluruh pemrosesan dilakukan secara lokal, termasuk OCR untuk dokumen hasil pemindaian, transkripsi audio menggunakan faster-whisper, text-to-speech berbahasa Indonesia, serta RAG pada basis pengetahuan personal. Lapisan LLM dirancang fleksibel dan dapat menggunakan Claude, GPT, atau Gemini. Model dapat diganti melalui panel administrasi tanpa perlu memulai ulang sistem.

Hasil

Lebih dari 60 alat dalam sekitar 30 modul yang telah digunakan secara aktif, mencakup pemrosesan Excel, Word, PowerPoint, dan PDF; pembuatan grafik dan infografik; transkripsi FGD; riset web yang dilengkapi sumber; kalender dan pengingat; hingga basis pengetahuan pendakian untuk 11 gunung yang secara otomatis memeriksa status aktivitas vulkanik setiap minggu.
Privasi menyeluruh: dokumen tidak pernah keluar dari komputer. Dalam mode hibrida, sistem menggunakan saluran terenkripsi sehingga berkas tidak pernah melewati server perantara.
Tata kelola yang ketat: log audit harian yang hanya dapat ditambahkan, pembatasan akses berdasarkan daftar lokasi berkas yang diizinkan, serta konfirmasi eksplisit sebelum sistem menimpa berkas. Agen yang dapat menjalankan perintah harus meninggalkan jejak aktivitas yang dapat diaudit.

Proyek ini merupakan laboratorium pribadi saya. Dasar pemikirannya sederhana: AI paling bermanfaat ketika hadir di dalam aplikasi yang memang sudah digunakan orang setiap hari. Dalam konteks di sini, aplikasi tersebut adalah WhatsApp.