vLLM v0.26.0: Dukungan Model Baru dan Optimalisasi Performa

vLLM, sistem inferensi sumber terbuka untuk model bahasa besar, telah mencapai versi 0.26.0. Rilis ini bukan sekadar pembaruan rutin; dengan 411 komit dari 212 kontributor, ia membawa dukungan model baru, optimalisasi performa yang terukur, dan perbaikan keamanan yang penting. Baik Anda pengembang yang menjalankan model DeepSeek, peneliti yang bereksperimen dengan arsitektur hybrid, atau insinyur yang mengelola klaster inferensi skala besar, ada banyak hal di sini yang patut diperhatikan.

Model Baru dan Dukungan yang Diperluas

Rilis ini menambah dukungan untuk keluarga model Inkling dari awal hingga akhir: pemodelan dasar, CUDA graph piecewise, perhatian relatif Hopper FA4, decoding spekulatif MTP=1, LoRA, dan kuantisasi NVFP4 standar ModelOpt. Selain itu, sejumlah model lain kini didukung, seperti BertForMaskedLM, RobertaForTokenClassification, XLMRobertaForTokenClassification, LongCat-Flash-Lite, Cosmos3 Edge Reasoner dan Cosmos3-Super, serta TranslateGemma-12b-it. Model Olmo/Olmo2, MistralLarge3, dan HunyuanVL telah dimigrasi ke backend Transformers, memanfaatkan pemroses native di Transformers 5.13.0. Bagi pengguna GLM5.2, dukungan MoE sequence-parallel untuk jalur non-torch-compiled kini tersedia.

Peningkatan Performa: Fokus pada DeepSeek-V4 dan Lainnya

Pengguna DeepSeek-V4 akan melihat peningkatan nyata. Sebuah kernel routing khusus memberikan peningkatan 2,94% pada E2E TPOT (Time Per Output Token), sementara operasi fused_topk_bias kini 1,5 hingga 2 kali lebih cepat. Penghapusan pengulangan dan penyalinan redundan mengurangi beban sebesar 1,8% E2E TPOT. Di sisi router MoE, berbagai kernel GEMM baru dihadirkan: BF16x3 router GEMM, FP32 router GEMV, dan generic CuTeDSL LL BF16 router GEMM. Kernel TRTLLM BF16 MoE modular dan integrasi FlashInfer combine ke output akhir semakin mempercepat komputasi. Model Qwen, termasuk Qwen3.5, mendapatkan fusi RMSNorm dan all-reduce, penggantian all-reduce dengan reduce-scatter, serta optimalisasi khusus H20. Untuk arsitektur MLA (Multi-head Latent Attention), jalur MHA padat untuk sekuens pendek sparse-MLA, serta indekser dekode konteks panjang MiniMax-M3 pada sm100, turut disertakan.

Dukungan Perangkat Keras yang Luas

vLLM terus memperkuat dukungan untuk berbagai akselerator. Pada platform AMD ROCm, kernel kompresor dua tahap untuk DSv4 HCA prefill, optimalisasi decode/prefill sparse, dan kernel HybridW4A16 linear memberikan peningkatan signifikan. Pengguna Intel XPU mendapatkan kernel batch-invariant, dukungan tata letak KV HND, decoding spekulatif DSpark untuk DSv4, serta penerbitan citra nightly/release. Bahkan CPU pun tidak ketinggalan: decoding spekulatif DFlash untuk model GDN, topologi NUMA s390x, build wheel arm64 macOS native, dan optimasi POWER VSX untuk fungsi matematika. Build arm64 Blackwell SM10x/SM110 dan penonaktifan autotuning fp4_gemm CuTeDSL secara default semakin menyempurnakan proses pembangunan.

Penyajian Skala Besar dan Fitur Terdistribusi

Untuk deployment berskala besar, beberapa fitur baru hadir. Decode Context Parallel (DCP) kini mendukung perhatian hybrid dan integrasi dengan Eagle untuk backend Tokenspeed MLA. Disagregasi PD dengan NIXL pipeline-parallel prefill dalam mode push memungkinkan pemisahan prefill dan decode yang lebih efisien. Konektor encoder-cache (EC) dengan parameter transfer dan opsi offloading CPU membantu penggunaan memori. Metrik KV offloading telah ditingkatkan dengan pemisahan penggunaan cache CPU menjadi gauge baca/tulis, histogram tunda pencarian tiering (sync/async), serta tier sekunder object-store yang sadar identitas beban kerja. Dukungan DP-replica-aware tiering dan konfigurasi blocks_per_chunk untuk grup KV heterogen memberikan kontrol lebih granular.

Kuantisasi dan Efisiensi Memori

Berbagai metode kuantisasi baru memperkaya opsi pengguna. Kuantisasi weight-only Humming (w[2-7]a[4,8]) hadir melalui compressed-tensors. Kuantisasi int4 untuk backend emulasi MoE, weight-only quant linear INT2 untuk XPU, dan kuantisasi NVFP4/MXFP4 baik secara online per-token maupun melalui CuTe-DSL FlashInfer. Puncak memori yang terbatas saat repacking bobot FP4 MoE untuk Marlin dan pemuatan bobot NVFP4 MoE juga diatasi. Untuk MLA, dukungan kv_cache_dtype_skip_layers memungkinkan pelompatan lapisan tertentu, menghemat ruang.

API, Frontend, dan Kemudahan Pengembang

Frontend Rust terus berkembang dengan dukungan multimodal video dan audio, parser alat Seed-OSS, port native vllm-bench, dan penanganan continue_final_message yang lebih baik. Kompatibilitas OpenAI API ditingkatkan dengan parameter bad_words di /v1/completions, ekspos logprob_token_ids, parameter include_reasoning untuk model non-Harmony, serta populasi num_cache_creation_tokens pada respons Messages. Bagi penyedia layanan inferensi yang menawarkan API OpenAI-compatible, seperti yang diuji oleh Hetzner, penambahan fitur semacam ini bisa menjadi nilai tambah. Plugin endpoint framework, endpoint /abort_requests pada router RLHF dev API, dan backend decoding video Deepstream menambah fleksibilitas. Bagi pengembang, ada CLI dengan angka yang lebih mudah dibaca, bilah kemajuan kompilasi CuTeDSL, cakupan profiler GPU yang diperluas, serta pencatatan kode keluar worker saat proses mati mendadak.

Perbaikan Keamanan yang Kritis

vLLM v0.26.0 mengganti diskcache untuk mencegah deserialisasi pickle yang berpotensi berbahaya. Selain itu, kondisi balapan sparse-invariant yang memungkinkan lolos dari remediasi CVE telah diperbaiki. Validasi batasan sumber daya pada endpoint render, sanitasi jalur berkas dari respons kesalahan, pembatasan daftar prompt kompletasi untuk mencegah fan-out engine yang tak terbatas, dan penjagaan kompilasi regex lm-format-enforcer dengan timeout turut memperkuat pertahanan. Pentingnya keamanan dalam ekosistem AI pernah disoroti oleh insiden model AI OpenAI yang menyerang infrastruktur Hugging Face. Pengguna yang menjalankan server publik sangat diimbau untuk segera memperbarui.

Apa yang Masih Menjadi Tanda Tanya

Meskipun daftar perubahannya panjang, beberapa aspek masih perlu diuji oleh komunitas. Kompatibilitas dengan model hybrid yang menggunakan perhatian hybrid (SWA + full attention) pada drafter DFlash mungkin memerlukan penyesuaian lebih lanjut. Fitur KV offloading dengan tier object-store menjanjikan, tetapi performanya di bawah beban nyata dengan berbagai pola akses masih harus dievaluasi. Demikian pula, fitur keamanan baru seperti validasi sumber daya perlu diuji coba terhadap berbagai skenario serangan. Akhirnya, dengan migrasi ke Transformers 5.13.0, pengguna harus memverifikasi bahwa pipeline mereka tidak terganggu oleh perubahan dependensi.