Investigación aplicada para ejecutar modelos de lenguaje densos (LLMs) en hardware accesible (GPU de 4 GB VRAM). Mediante la combinación de cuantización extrema (INT4/INT3/INT2), descomposición Hessiana (GPTQ), optimización no uniforme (Lloyd-Max) y parches residuales de bajo rango (Low-Rank).
Banco de pruebas reproducible · PyTorch 2.6 CUDA + Ollama · GPU NVIDIA RTX 3050 Laptop
Un modelo de 7B en FP16 pesa ~14 GB y colapsa al derramarse a RAM/PCIe. Con compresión a ~2.7 bits y corrección residual, el peso se reduce a ~2.4 GB, permitiendo ejecutar modelos de alta capacidad 100% en GPU local económica.
La cuantización uniforme ingenua colapsa catastróficamente. Minimizando el error ponderado de activaciones ‖(W−Q)X‖² con la matriz Hessiana H = XXᵀ y compensando columna por columna, INT4 alcanza 1.01× (indistinguible de FP32) e INT3 alcanza 1.15×, habilitando modelos 7B en ~2.6 GB.
A 2 bits, GPTQ clásico diverge (error 22,820×) porque el bucle de retroalimentación amplifica los residuos en vez de amortiguarlos. Introduciendo clipping de error a ±2.5σ, el sistema se estabilizó pasando de 288× a 12.45× en 2 bits limpios.
Al corregir el residuo de cuantización en el espacio de activaciones con una aproximación de bajo rango, los errores residuales se reducen drásticamente: rank-16 alcanza 1.54× a 2.67 bits y rank-32 alcanza 1.14× a 3.33 bits.
Evaluado sobre modelo de laboratorio (GPT-2, PPL base = 3.013). Un valor menor indica menor degradación (1.00× = idéntico al modelo original sin cuantizar).
| Precisión | Cuantización Uniforme | Lloyd-Max (No Uniforme) | GPTQ (Hessiano) | GPTQ + Parche Low-Rank | Veredicto |
|---|---|---|---|---|---|
| INT4 (4 bits) | 1.14× | 1.03× | 1.01× | 1.01× | Resuelto (Sin pérdida) |
| INT3 (3 bits) | 546× (roto) | 1.95× | 1.15× | 1.05× | Resuelto (Producción) |
| INT2 puro (2 bits) | 2,588× (inutilizable) | 508× | 12.45× (amortiguado) | 2.32× (rank-8) | Frontera superada |
| Híbrido (~2.67 bits) | — | — | — | 1.54× (rank-16) | Óptimo memoria/calidad |
De la matemática teórica (Cholesky, rotaciones ortogonales, SVD) a la ejecución eficiente en hardware real.