Hetzner Uji Coba Inferensi LLM, API OpenAI-Compatible
Hetzner meluncurkan eksperimen layanan inferensi LLM dengan API yang kompatibel dengan OpenAI. Layanan ini masih gratis tanpa SLA, hanya menyediakan satu model Qwen.
Penyedia infrastruktur cloud Jerman, Hetzner, mulai menguji coba layanan inferensi model bahasa besar (LLM) melalui API yang kompatibel dengan OpenAI. Eksperimen ini masih sangat dini, tanpa biaya, tanpa SLA, dan baru mendukung satu model, namun kehadirannya menarik perhatian karena rekam jejak Hetzner dalam efisiensi biaya operasional berpotensi mengubah lanskap pasar inferensi yang semakin ramai.
Apa Itu Hetzner Inference?
Layanan ini diberi nama Hetzner Inference dan dapat diakses melalui dashboard Experiments di akun Hetzner. Pengguna cukup membuat token API, kemudian mengarahkan klien OpenAI ke URL https://inference.hetzner.com/api/v1. Saat ini, satu-satunya model yang tersedia adalah Qwen/Qwen3.6-35B-A3B-FP8, sebuah model Mixture-of-Experts dengan 35 miliar parameter total dan 3 miliar parameter aktif. Model ini menerima input teks dan gambar, memiliki jendela konteks 262 ribu token, serta menggunakan bobot kuantisasi FP8.
Hetzner juga menyediakan tutorial singkat untuk menghubungkan editor kode OpenCode ke API ini, sehingga pengujian bisa dilakukan tanpa menulis kode.
Seberapa Kencang Kinerjanya?
Jonas Scholz, salah satu pendiri Sliplane yang mencoba langsung layanan ini pada 23 Juli 2026, mencatat angka yang cukup impresif. Pada pengujiannya, waktu hingga token pertama (time to first token) median 153 milidetik untuk permintaan pendek di koneksi yang sudah terbuka, dan kecepatan output mencapai 224 token per detik untuk generasi teks lebih panjang.
“That is fast!” tulisnya, meski segera mengingatkan bahwa ini hanyalah satu titik data tanpa jaminan performa di bawah beban banyak pengguna.
Namun, kemampuan modelnya sendiri masih terbatas. Scholz menyebut model ini “a small, slightly shitty LLM”, mampu mengikuti instruksi pemformatan dan memahami gambar, tetapi gagal dalam soal aritmetika sederhana.
Mengapa Hetzner Terjun ke Inferensi?
Bagi Scholz, yang lebih menarik bukanlah model itu sendiri, melainkan alasan bisnis di balik eksperimen ini. Inferensi model open-weight kini menjadi komoditas dengan margin tipis karena siapa pun bisa mengunduh bobot yang sama dan menjalankan perangkat lunak serupa. Keunggulan hanya bisa diraih jika penyedia mampu mengoperasikan GPU dengan biaya sangat rendah atau memanfaatkan kapasitas GPU yang menganggur.
Hetzner, dengan pengalaman puluhan tahun membangun dan mengelola pusat data sendiri secara efisien, dinilai sebagai kandidat yang masuk akal untuk menjadikan inferensi sebagai produk infrastruktur berbiaya rendah. Selain itu, layanan inferensi bersama bisa meningkatkan utilisasi GPU yang sebelumnya hanya disewakan secara dedicated.
“Jika ada yang bisa mengubah inferensi menjadi produk infrastruktur dengan margin tipis, Hetzner setidaknya adalah kandidat yang bisa dipercaya,” spekulasi Scholz dalam laporannya.
Namun, tantangan terbesar ada pada perangkat keras. Saat ini, jajaran GPU dedicated Hetzner yang tersedia publik hanya mencakup NVIDIA RTX 4000 SFF Ada (20 GB VRAM) dan RTX PRO 6000 Blackwell Max-Q (96 GB). Model Qwen yang digunakan dalam eksperimen memakan sekitar 38 GB dalam format FP8 dan muat di satu RTX PRO 6000. Tetapi untuk model besar seperti GLM-5 dengan 754 miliar parameter, dibutuhkan kluster multi-GPU dengan memori ratusan gigabyte dan interkoneksi cepat, perangkat kelas B200/B300 yang belum ada dalam katalog publik Hetzner. Pertanyaan besarnya: apakah eksperimen ini hanya langkah awal menuju investasi perangkat keras yang lebih serius?
Apa Artinya bagi Pengembang di Indonesia?
Bagi pengembang dan perusahaan rintisan di Indonesia yang kerap mencari solusi inferensi terjangkau, eksperimen Hetzner ini bisa menjadi angin segar dalam jangka panjang. Model open-source seperti Qwen sudah populer di kalangan pengembang lokal, dan akses API yang kompatibel dengan OpenAI memudahkan integrasi tanpa perubahan kode yang berarti. Saat ini, siapa pun bisa mencoba layanan ini secara gratis, meski belum cocok untuk produksi. Jika Hetzner kelak memperluas dukungan model dan menjaga efisiensi biayanya, persaingan di pasar inferensi bisa menekan harga, menguntungkan pengguna di Indonesia yang sensitif terhadap biaya. Namun, semua masih sangat spekulatif; untuk saat ini, yang tersedia hanyalah satu model uji coba dengan kapasitas terbatas.