Inference
Définition
L'inference, c'est le moment où un modèle IA génère une réponse à partir d'une entrée. Contrairement à l'entraînement qui construit le modèle, l'inference utilise un modèle déjà formé pour produire du texte, des images ou d'autres outputs en temps réel.
Quand tu écris une question à ChatGPT et qu'il te répond en quelques secondes, c'est de l'inference : le modèle utilise ses poids pré-entraînés pour générer ta réponse.
L'inference détermine la vitesse et le coût d'utilisation des IA. Optimiser l'inference, c'est rendre les IA plus rapides et moins chères pour tout le monde.
Voir aussi
Articles qui en parlent
5 tokens IA crypto que Noésis vient d'ajouter — ce qu'ils font vraiment
Le marché crypto IA pèse 26,6 milliards de dollars et grossit vite. Cinq projets viennent de rejoindre notre catalogue — pas des memes, pas du hype. Voici ce qu'ils font, à qui ça sert, et ce qui reste flou.
Kernels : la sécurité des custom kernels devient sérieuse
Hugging Face resserre l'étau sur les kernels custom : éditeurs de confiance, signature de code, et un nouveau type de repo.