LLM 28,9 Juta Parameter di Mikrokontroler $8

Sebuah proyek eksperimental menunjukkan bahwa model bahasa 28,9 juta parameter kini dapat berjalan sepenuhnya di dalam sebuah mikrokontroler ESP32-S3 yang berharga sekitar $8. Model ini tidak bergantung pada koneksi internet, menghasilkan teks kata demi kata pada layar kecil yang terhubung, dengan kecepatan sekitar 9 token per detik. Pendekatan ini memanfaatkan trik arsitektur bernama Per-Layer Embeddings yang dipinjam dari riset model Gemma milik Google, memungkinkan model seratus kali lebih besar dari yang sebelumnya bisa berjalan di chip sekecil ini.

Lompatan dari Model Mini ke Model Lebih Besar

Sebelumnya, model bahasa yang bisa berjalan di mikrokontroler seperti ESP32-S3 hanya berukuran sekitar 260 ribu parameter. Alasannya sederhana: chip ini hanya memiliki 512KB SRAM cepat yang bisa digunakan untuk menyimpan seluruh model saat inferensi. Model 260 ribu parameter sudah mendekati batas kapasitas itu. Kini, model ini 100 kali lebih besar, dengan 28,9 juta parameter total, meskipun hanya 3,9 juta di antaranya yang aktif di memori cepat selama proses berpikir. Sisanya, yaitu 25 juta parameter, disimpan di tabel pencarian (lookup table) di memori flash berkapasitas 16MB.

Bagaimana Cara Kerja Trik Memori Ini?

Kunci dari pendekatan ini adalah memisahkan antara “bagian yang berpikir” dan “bagian pengetahuan”. Dalam banyak model bahasa, sebagian besar parameter sebenarnya berada di lapisan embedding, yang berfungsi seperti kamus raksasa. Model tidak menghitung ulang kamus ini setiap kali, melainkan hanya melihat isinya sesuai kebutuhan. Dengan arsitektur Per-Layer Embeddings dari Google, yang awalnya dirancang untuk model Gemma 3n dan 4, tabel parameter besar ini bisa diletakkan di penyimpanan lambat seperti flash. Saat memproses satu token, model cukup membaca sekitar 450 byte dari tabel itu, bukan seluruh 25 juta entri. Sementara itu, bagian inti yang melakukan komputasi tetap berada di SRAM cepat, dan kepala keluaran (output head) beserta memori kerja diletakkan di PSRAM 8MB. Pendekatan serupa untuk efisiensi juga terlihat pada model Gemini 3.6 Flash, yang dirancang Google untuk menjadi cepat, murah, dan aman.

Performa di Atas Kertas dan di Dunia Nyata

Model ini dikuantisasi menjadi 4-bit, sehingga ukuran totalnya hanya 14,9MB. Dalam pengujian, ia mencapai kecepatan 9,5 token per detik secara keseluruhan, dengan 9,7 token per detik murni waktu komputasi. Seluruh proses berlangsung di dalam chip ESP32-S3; tidak ada data yang dikirim ke server eksternal. Spesifikasi lengkap perangkat kerasnya: mikrokontroler ini dilengkapi 512KB SRAM, 8MB PSRAM, dan 16MB flash, menjadi fondasi fisik bagi eksperimen ini.

Apa yang Sebenarnya Bisa Dilakukan Model Ini?

Model ini dilatih menggunakan dataset TinyStories, kumpulan cerita pendek sintetis sederhana dari Microsoft Research (arXiv:2305.07759). Hasilnya, ia mampu menulis cerita pendek yang koheren, meskipun dengan gaya yang sangat terbatas. Kemampuan ini tumbuh dari proyek llama2.c yang dipopulerkan Andrej Karpathy, yang menunjukkan bahwa model bahasa kecil dapat dilatih dan dijalankan dalam kode C murni.

Model ini tidak akan menjawab pertanyaan, mengikuti instruksi, menulis kode, atau mengetahui fakta. (“It will not answer questions, follow instructions, write code, or know facts.”)

Keterbatasan ini bukan karena trik memori, melainkan karena bagian model yang bertugas melakukan penalaran masih kecil. Jadi, jangan harap bisa menggunakannya sebagai asisten pribadi. Keunggulan utamanya terletak pada demonstrasi arsitektur, membuka jalan agar model besar bisa beroperasi di perangkat keras yang sangat terbatas.

Untuk Siapa Proyek Ini Berguna?

Pengembang yang bekerja dengan perangkat IoT, mainan edukasi, atau prototipe asisten suara sederhana akan mendapatkan manfaat dari pendekatan ini. Bayangkan boneka yang bisa bercerita sendiri, atau panel informasi yang menampilkan narasi pendek tanpa perlu koneksi internet. Namun, bagi siapa pun yang membutuhkan model bahasa untuk tugas kompleks seperti pemrograman, analisis data, atau percakapan faktual, model ini bukanlah solusi. Ia juga tidak cocok untuk aplikasi yang memerlukan latensi sangat rendah, karena 9 token per detik masih tergolong lambat untuk interaksi real-time yang cepat.

Transparansi: Kode, Data, dan Riwayat Bug Tersedia untuk Publik

Proyek ini sepenuhnya terbuka. Semua tahap, dari firmware, instruksi perakitan dan flashing, hingga kode pelatihan, ablasi, dan kuantisasi, didokumentasikan di repositori publik. Laporan lengkap metode, pengukuran di dalam chip, dan temuan dicatat dalam berkas RESULTS.md. Pengembang bahkan secara sengaja menyertakan riwayat pengembangan yang berantakan, termasuk sebuah bug dalam penghitungan parameter awal yang sempat membuat angka tampak membesar, serta koreksi yang dilakukan setelahnya. Riwayat commit menunjukkan pergeseran angka tersebut secara transparan, memberi pelajaran berharga tentang proses riset yang jujur.

Apa yang Masih Belum Jelas dan Perlu Diuji?

Sejumlah pertanyaan belum terjawab dalam proyek ini. Pertama, berapa konsumsi daya sebenarnya dari ESP32-S3 saat menjalankan model ini, dan apakah cukup rendah untuk perangkat bertenaga baterai? Kedua, apakah arsitektur ini bisa diperluas ke model dengan kemampuan lebih luas, misalnya dengan menambah ukuran bagian penalaran atau melatih dengan dataset yang lebih beragam? Ketiga, stabilitas dan keandalan jangka panjang belum diuji. Semua ini menjadi ranah eksplorasi berikutnya, bukan sekadar pengulangan trik yang sudah ada.

Proyek ini menambah bukti bahwa menjalankan AI langsung di perangkat kecil semakin layak. Tren on-device AI juga diadopsi oleh perusahaan besar, seperti saat Google memperkenalkan Gemini Intelligence di Galaxy Unpacked untuk berjalan di ponsel pintar. Meski mikrokontroler $8 jauh lebih terbatas, eksperimen ini mengingatkan bahwa inovasi arsitektur bisa mendobrak batasan yang sebelumnya dianggap mustahil.