Transformer
Définition
Architecture de réseau de neurones fondée sur le mécanisme d'attention, qui permet au modèle de comprendre les relations entre tous les mots d'un texte simultanément. Introduite en 2017, elle est devenue la base de tous les grands modèles de langage actuels comme GPT et Claude.
Quand tu écris un email, le Transformer comprend que « il » dans la phrase se rapporte à « Jean » mentionné trois lignes plus haut, pas à « Paul » de la dernière phrase.
C'est l'invention clé qui a rendu possibles ChatGPT et tous les IA modernes. Comprendre ce mot te permet de saisir pourquoi l'IA d'aujourd'hui fonctionne si différemment de celle d'hier.
Voir aussi
Articles qui en parlent
28 astuces pour transformer tes prompts ChatGPT
Tu utilises ChatGPT comme tout le monde ? Voici comment obtenir des réponses bien meilleures avec quelques mots clés stratégiques.
UHF X11 : faire tourner Unix sur Apple Vision Pro
Oui, tu peux transformer ton Vision Pro en serveur d'affichage X11 complet et brancher des terminaux Unix vintage.
Subquadratic prétend avoir résolu l'énigme des LLM lents
Une startup de Miami affirme avoir cassé un problème mathématique qui ralentit les LLM depuis 10 ans. Les tests indépendants donnent du crédit à ses dires.
L'ingénierie géo-climatique : bien plus compliquée que prévu
Refroidir la planète en semant des particules dans la stratosphère ? C'est un puzzle technique bien plus corsé qu'il n'y paraît.
Midjourney lance un scanner corps entier à ultrasons
Midjourney passe des images de chats aux scanners médicaux : son premier produit hardware arrive.
Les Jeux de l'Enhancement : quand le dopage devient spectacle
À Las Vegas, des athlètes dopés légalement se sont affrontés. Le spectacle a surtout révélé l'absurdité du système.