Compresser 4x un modèle et le rendre meilleur : c'est possible

Pourquoi les approches classiques échouent

Aujourd'hui, tout le monde fait pareil : compresse le modèle (moins de couches), quantifie les poids en 4 bits, puis répare les dégâts avec une étape appelée « healing ».

Le problème ? Une fois que tu as réduit l'architecture (60B au lieu de 120B), tu n'as plus accès à une version 16 bits de cette architecture réduite, déjà entraînée. Le seul candidat pour « réparer » est le checkpoint 16 bits déjà dégradé — celui qui a déjà perdu des informations.

Donc tu distilles du distillé. Ton modèle 4 bits ne peut jamais dépasser le plafond imposé par ce checkpoint médiocre.

La clé : distiller depuis l'original

QAH change une chose radicale : au lieu de prendre le modèle 60B endommagé comme professeur, il distille directement depuis le modèle 120B original en pleine précision.

Le point contre-intuitif ? Ça marche même si professeur et étudiant n'ont pas la même architecture. La distribution de sortie du grand modèle n'a aucun besoin de correspondre à la forme du petit. On passe seulement la KL-divergence sur les logits (les scores bruts avant le softmax).

Résultat : le modèle 4 bits n'essaie plus de rattraper ses erreurs passées. Il apprend directement depuis la meilleure source disponible.

Les chiffres qui piquent

Sur 9 benchmarks, le modèle compressé 4x en 4 bits bat sa propre version 16 bits sur 7 :

• ▸AA-LCR (raisonnement long contexte) : +7.4 points — exactement où la compression tue habituellement tout
• ▸AIME 2025 (math) : +5.6 points
• ▸Aider (code avec agents) : +2.7 points
• ▸LiveCodeBench : il égale même le modèle original 2x plus gros

Les deux domaines où il perd légèrement (MMLU-Pro, SciCode) perdent moins d'un point et demi.

Stabilité : QAH vs QAT

En comparaison directe avec l'approche classique (Quantization-Aware Training), les deux atteignent un pic similaire (~54.9 vs 54.6).

Mais :

• ▸QAH atteint ce pic en 100 étapes et s'y maintient
• ▸QAT met 700 étapes et s'effondre ensuite, perdant 19 points en continuant à entraîner

Pourquoi ? Avec QAT, tu forces le modèle à coller des étiquettes fixes — il dérive indéfiniment. Avec QAH (distillation par KL-divergence), une fois qu'il a rattrapé la distribution du professeur, il n'y a plus de pression pour dériver. C'est plus stable et plus rapide.

L'astuce pour le long contexte

QAH fonctionne même sur 32k tokens (grâce à une perte KL-divergence fragmentée, économe en mémoire, avec les logits précalculés hors ligne).

Le vrai apport

C'est pas une optimisation mineure. C'est un renversement du rapport coûts/performance : un modèle 4 bits peut être meilleur qu'un 16 bits du même écosystème, pas juste « acceptable ».

Pour un déploiement en production, ça veut dire : moins de mémoire GPU, inférence plus rapide, et capacités améliorées sur le raisonnement et les maths. Les entreprises qui déploient à grande échelle vont étudier ça.