Subquadratic prétend avoir résolu l'énigme des LLM lents
Pourquoi ça compte pour toi
Si c'est vrai, SubQ pourrait traiter 12 fois plus de texte en étant 56 fois plus rapide—utile pour analyser des centaines de documents ou des bases de code entières. Pour toi : moins de coûts API, plus de puissance. Mais attention : le modèle n'est pas encore largement accessible, et les sceptiques restent sceptiques.
Ce qu'il faut retenir
- 1.SubQ remplace l'attention dense (qui multiplie chaque mot par chaque autre mot) par l'attention creuse (qui sélectionne uniquement les relations pertinentes)
- 2.Les tests d'Appen montrent 56× plus rapide et 98% de précision sur la récupération de textes longs
- 3.Le modèle égalerait les performances de Google DeepMind, OpenAI et Anthropic sur les tâches de code, avec moins d'énergie et moins de coûts
Tu galères avec le jargon ?
Lis la version réécrite en mode débutant — toutes les idées, sans le jargon.
Le problème : une explosion quadratique
Les transformateurs (la base de tous les LLM modernes) utilisent un mécanisme appelé attention dense. Concrètement : chaque mot (token) est multiplié par chaque autre mot du texte pour comprendre les relations entre eux. Un texte de 10 000 mots = ~50 millions de multiplications.
Pire : quand tu doubles la longueur du texte, les calculs sont multipliés par 4, pas par 2. C'est la croissance quadratique qui plombe les performances et la facture énergétique.
La solution : attention creuse
Subquadratic dit : "Pas besoin de tout comparer à tout."
Si tu lis un livre, tu ne compares pas mentalement le 1er mot avec le 2e, le 3e, le 4e... L'attention creuse sélectionne seulement les relations pertinentes. Résultat : beaucoup moins de calculs, plus de vitesse.
Mais voilà le hic : l'attention creuse existe depuis des années. Des centaines de chercheurs l'ont essayée. Aucun n'a réussi à la mettre en œuvre sans perdre en qualité face à l'attention dense—jusqu'à présent, affirme Subquadratic.
Pourquoi les tests indépendants changent la donne
Au départ, Subquadratic a publié ses benchmarks sans preuves externes = beaucoup de méfiance ("c'est Theranos version IA" disaient les critiques). Appen, une firme tierce reconnue, a refait les tests :
- ▸56× plus rapide sur certaines tâches
- ▸98% de précision sur la récupération de longs documents
- ▸Performances alignées avec les meilleurs modèles sur le code
C'est pas rien. Mais SubQ n'est toujours pas largement disponible, et la startup l'a construit sur les poids d'un modèle open-source chinois existant (ce qui pose la question : où s'arrête l'innovation ?).
Et après ?
Le CEO dit : "On ne fera plus de transformers dans quelques années." C'est ambitieux. SubQ pourrait dominer pour les tâches gourmandes en texte (analyse de docs, code, RAG). Mais remplacer tous les transformers ? Attendons de voir.
Et concrètement pour toi ?
Choisis ton profil — la lecture de l'article change selon qui tu es.
Pour toi, retiens l'essentiel : depuis 10 ans, les LLM comparent chaque mot à TOUS les autres (lent et cher), SubQ ne compare qu'aux mots vraiment pertinents. Si c'est confirmé, c'est comme passer d'un réseau routier à saturation à des routes intelligentes—ça change les coûts et la rapidité du jeu IA.
Essayer maintenant
Consulter SubQ →Source
Pour aller plus loin
Cet article t'a donné envie d'approfondir ? Deux formations Noésis t'attendent :
Explorer les thèmes de cet article :