Transformers documentation
NVFP4
NVFP4
NVFP4 adalah format floating-point 4-bit dari NVIDIA. Setiap blok 16 bobot berbagi skala FP8, dan setiap tensor memiliki skala FP32 di atasnya. Transformers mengkuantisasi bobot saat model dimuat dan mengkuantisasi aktivasi secara langsung, sehingga prefill berjalan sebagai matmul W4A4 pada tensor core Blackwell dan decode berjalan sebagai matmul W4A16. Gunakan ini untuk menjalankan model 4-bit pada GPU Blackwell.
Tabel di bawah ini merangkum apa yang didukung oleh NVFP4 di Transformers.
| Konfigurasi | NVFP4Config |
quant_method | nvfp4 |
| Alur Kerja | Kuantisasi saat memuat |
| Bit | 4 |
| Perangkat Keras | Satu GPU CUDA dengan kemampuan komputasi 10.0+ (Blackwell) |
| Simpan | ❌ |
| Fine-tune | ❌ |
| Auto-compile | ✅ |
Install kernel NVFP4
Transformers mengunduh kernel NVFP4 dari repositori kernels-community/nvfp4-gemm di Hub. Instal pustaka kernels. Kernel ini memerlukan build yang sesuai dengan versi PyTorch dan CUDA Anda.
pip install -U "transformers[kernels]"Kuantisasi model dengan NVFP4
Buat NVFP4Config dan teruskan ke from_pretrained() dengan device_map yang menempatkan seluruh model pada satu GPU CUDA. Checkpoint sumber harus memiliki bobot floating-point.
from transformers import AutoModelForCausalLM, NVFP4Config
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)NVFP4 mengganti setiap lapisan torch.nn.Linear yang tidak memiliki bias dan yang in_features serta out_features keduanya habis dibagi 16. Lapisan linear lainnya mempertahankan presisi aslinya. NVFP4Config tidak memiliki parameter yang mengubah cara bobot dikuantisasi.
Keterbatasan
- NVFP4 memerlukan GPU CUDA dengan compute capability 10.0 atau lebih baru. Memuat tanpa GPU CUDA atau pada GPU yang lebih lama akan memicu
RuntimeError. - NVFP4 berjalan di satu GPU.
device_mapyang mencakup beberapa GPU, atau tensor parallelism, akan memicuValueError. - NVFP4 tidak dapat di-offload ke CPU atau disk.
device_mapyang mencakup"cpu"atau"disk", atau tanpadevice_mapsama sekali, akan memicuValueError. - NVFP4 tidak dapat memuat checkpoint NVFP4 yang sudah dikuantisasi sebelumnya. Memuatnya akan memicu
ValueError. - Model NVFP4 tidak dapat disimpan atau dihaluskan.
Sumber daya
- postingan blog Menghadirkan NVFP4 untuk Inferensi Presisi Rendah yang Efisien dan Akurat
- Kernel Hub kernels-community/nvfp4-gemm