Transformers documentation
SINQ
Mulai
Kelas dasar
Model
Preprocessor
Inferensi
API Pipeline
Generate API
Optimasi
Berbicara dengan model
Serving
Pelatihan
Perangkat keras
Kuantisasi
IkhtisarKonsep kuantisasiPilih metode OptimumKontribusi metode kuantisasi
Tugas umum
Kuantisasi saat memuat
bitsandbytesEETQFBGEMM FP8FP8 bergranularitas halusEmpat dari EnamFP-QuantGPTQHIGGSHQQMetalMXFP4NVFP4QuantoSINQtorchao
Muat checkpoint yang sudah dikuantisasi sebelumnya
Integrasi ekosistem
Sumber daya
API
SINQ
Sinkhorn-Normalized Quantization (SINQ) menyeimbangkan skala baris dan kolom dari setiap matriks bobot sebelum melakukan kuantisasi, yang mengurangi error dari outlier tanpa memerlukan data kalibrasi. Gunakan ini sebagai alternatif bebas kalibrasi dari HQQ untuk bobot 2 hingga 8-bit pada satu GPU.
Tabel di bawah ini merangkum apa yang didukung SINQ di Transformers.
| Konfigurasi | SinqConfig |
quant_method | sinq |
| Alur Kerja | Kuantisasi saat memuat |
| Bit | 2, 3, 4, 5, 6, 8 |
| Perangkat Keras | Satu GPU CUDA, CPU |
| Simpan | ✅ |
| Fine-tune | ✅ |
| Auto-compile | ❌ |
Install SINQ
Install paket sinq.
pip install sinq
Kuantisasi model dengan SINQ
Buat SinqConfig dan teruskan ke from_pretrained(). Contoh di bawah ini mengkuantisasi model ke 4 bit dan mempertahankan lm_head dalam bf16.
from transformers import AutoModelForCausalLM, SinqConfig
quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-1.7B",
quantization_config=quantization_config,
device_map="cuda:0",
)Tanpa GPU CUDA, SINQ melakukan kuantisasi dan menjalankan model pada CPU, yang jauh lebih lambat.
Konfigurasi SINQ
Parameter SinqConfig ini mengubah cara bobot dikuantisasi.
| Parameter | Default | Efek |
|---|---|---|
nbits | 4 | Jumlah bit per bobot. |
group_size | 64 | Jumlah bobot yang berbagi skala. Gunakan kelipatan dari 8. |
tiling_mode | "1D" | Bagaimana matriks bobot dipecah menjadi ubin, yaitu "1D" atau "2D". |
modules_to_not_convert | None | Modul yang tidak dikuantisasi. Dengan nilai default, setiap lapisan linear dikuantisasi, termasuk lm_head. |
Keterbatasan
- SINQ berjalan di satu perangkat.
device_mapyang menyebar model ke beberapa perangkat, termasuk offloading CPU, akan memicuRuntimeError. - Transformers hanya mendukung
method="sinq"tanpa kalibrasi. Melakukan kuantisasi denganmethod="asinq"yang dikalibrasi akan memicuValueError. Gunakan pustaka SINQ untuk melakukan kuantisasi dengan A-SINQ.
Sumber daya
- paper SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights
- repository SINQ