Transformers documentation

SINQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SINQ

Sinkhorn-Normalized Quantization (SINQ) menyeimbangkan skala baris dan kolom dari setiap matriks bobot sebelum melakukan kuantisasi, yang mengurangi error dari outlier tanpa memerlukan data kalibrasi. Gunakan ini sebagai alternatif bebas kalibrasi dari HQQ untuk bobot 2 hingga 8-bit pada satu GPU.

Tabel di bawah ini merangkum apa yang didukung SINQ di Transformers.

KonfigurasiSinqConfig
quant_methodsinq
Alur KerjaKuantisasi saat memuat
Bit2, 3, 4, 5, 6, 8
Perangkat KerasSatu GPU CUDA, CPU
Simpan✅
Fine-tune✅
Auto-compile❌

Install SINQ

Install paket sinq.

pip install sinq

Kuantisasi model dengan SINQ

Buat SinqConfig dan teruskan ke from_pretrained(). Contoh di bawah ini mengkuantisasi model ke 4 bit dan mempertahankan lm_head dalam bf16.

from transformers import AutoModelForCausalLM, SinqConfig

quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-1.7B",
    quantization_config=quantization_config,
    device_map="cuda:0",
)

Tanpa GPU CUDA, SINQ melakukan kuantisasi dan menjalankan model pada CPU, yang jauh lebih lambat.

Konfigurasi SINQ

Parameter SinqConfig ini mengubah cara bobot dikuantisasi.

ParameterDefaultEfek
nbits4Jumlah bit per bobot.
group_size64Jumlah bobot yang berbagi skala. Gunakan kelipatan dari 8.
tiling_mode"1D"Bagaimana matriks bobot dipecah menjadi ubin, yaitu "1D" atau "2D".
modules_to_not_convertNoneModul yang tidak dikuantisasi. Dengan nilai default, setiap lapisan linear dikuantisasi, termasuk lm_head.

Keterbatasan

  • SINQ berjalan di satu perangkat. device_map yang menyebar model ke beberapa perangkat, termasuk offloading CPU, akan memicu RuntimeError.
  • Transformers hanya mendukung method="sinq" tanpa kalibrasi. Melakukan kuantisasi dengan method="asinq" yang dikalibrasi akan memicu ValueError. Gunakan pustaka SINQ untuk melakukan kuantisasi dengan A-SINQ.

Sumber daya

Update on GitHub